所有的基本的配置,在下载下来的hadoop包中都有。hadoop-0.20.203.0\docs
1、下载hadoop,放到linux中
2、
修改以下配置文件。
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
--------------------------------------------------------------------------
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
--------------------------------------------------------------------------
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
--------------------------------------------------------------------------
conf/hadoop-env.sh
# Set Hadoop-specific environment variables here.
# The only required environment variable is JAVA_HOME. All others are
# optional. When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.
# The java implementation to use. Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
取消红色部分注释,然后修改我机器上的jdk目录
--------------------------------------------------------------------------
3、
配置 ssh
Now check that you can ssh to the localhost without a passphrase:
$ ssh localhost
If you cannot ssh to localhost without a passphrase, execute the following commands:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
6.3. Execution
Format a new distributed-filesystem:
$ bin/hadoop namenode -format
Start the hadoop daemons:
$ bin/start-all.sh
4、如果启动后,发现日志中有异常。那么重新格式化namenode,然后启动。
5、在linux中安装eclipse 。版本最好是3.2的 我用的是
eclipse-java-europa-winter-linux-gtk-x86_64.tar.gz
6、解压后,复制hadoop-0.20.203.0\contrib\eclipse-plugin\hadoop-eclipse-plugin-0.20.203.0.jar。到eclipse的plugins目录下。启动eclipse
7、切换到 map/reduce编辑模式
明天抓图再写
分享到:
相关推荐
Hadoop配置手册,详细介绍hadoop的配置 系统环境配置 假定有 3 台机器,机器上均按照了 Ubuntu 操作系统: 192.168.1.138 hadoop-master //作为 Hadoop 的主机用 192.168.1.140 hadoop-node1 //作为 Hadoop 的数据...
hadoop配置文件详解,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。
hadoop 配置项的调优,列出大部分HADOOP系统参数的定义及与系统性能之间的关系。
hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件
史上最全的Hadoop配置完全手册;配置,安装,设置
HADOOP配置文件-有注释版,里面附带源码,方便进行复制粘贴改动
经过多次反复试验,完全可用的hadoop配置,有0.19的版本,也有0.20的版本。并且有脚本可以在两个版本之间切换,无需格式化文件系统。Without "hadoop namenode -format" 目录结构: /data/hadoop 为工作目录,实际为...
hadoop2.2.0单机伪分布式配置文件实例。
hadoop 配置自我总结
使用SQLSERVER访问hadoop2.0http地址,通过powershell下载其配置文件(xml格式);在TSQL然后通过xml查询,解析出hadoop2.0配置详细信息,这样可以通过熟悉的TSQL检索查询hadoop配置,并归类之
不用积分,简单的HA配置参考,只是配置没有其他。为name迁移提供的配置参考https://blog.csdn.net/hxiaowang/article/details/89962226
hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书hadoop好书
本专题专门针对 IDH(Intel distribution Hadoop)而出,主要介绍 IDH 中所使用的配置,以 及配置文件所使用的默认值和相关描述。
linux环境安装Ubuntu(可以用别的虚拟机)安装配置过程,包括单机版和完全分布式0.0
此压缩包主要包含的是是hadoop的7个主要的配置文件,core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh、mapred-env.sh、yarn-env.sh精简配置优化性能,具体相关参数根据集群规模适当...
hadoop配置属性hadoop配置属性hadoop配置属性hadoop配置属性hadoop配置属性
4.Hadoop配置文件的更改 !!!!!!!!!!!!!!!!!!!! ps 请特别注意以下几个问题: 1.hostname 默认改成master ,如果不想修改,请在run.sh 中注释sudo ./change_hostname 2.集群的IP地址 默认为...
本文档列出了hadoop的常用配置说明,对hadoop的学习很有帮助。