本文转自我的ChinaUnix博客:http://blog.chinaunix.net/u3/107162/showart_2201271.html
2010-03-24
几天在单机环境下搭好了Hadoop,这两天开始着手搭建集群环境。使用设备是我自己在实验室的一台PC机和实验室的两台服务器,PC作为Namenode节点,同时运行一个Namenode和一个Datanode,两台服务器作为slave,各自作为一个Datanode,这样就一共有3个Datanode节点。IP地址分配为:
master:192.168.5.236,Ubuntu9.10,运行Namenode,SecondaryNamenode,Datanode,JobTracker,TaskTracker
slave1:192.168.5.201,Debian4.0,运行Datanode,TaskTracker
slave2:192.168.5.202,Debian4.0,运行Datanode,TaskTracker
1.首先是配置java环境,这个略去~~~~
2.把PC上已有的hadoop程序文件夹拷贝到两个datanode的相同目录下,注意一定是相同目录,而且登录这3台机器的用户名必须相同。
3.修改三台机器的/etc/hosts,
# /etc/hosts (for master AND slave)
192.168.5.236 master
192.168.5.201 slave1
192.168.5.202 slave2
4.设置namenode以ssh免密码方式连接datanode
a)先在PC上设置ssh免密码登录:
hadoop@ubuntu:~$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
9d:47:ab:d7:22:54:f0:f9:b9:3b:64:93:12:75:81:27 hadoop@ubuntu
hadoop@ubuntu:~$
b)然后,再把master的$HOME/.ssh/id_rsa.pub文件拷贝到slave1和slave2的$HOME/.ssh/下。
5.修改master节点的配置文件
a)修改 <HADOOP_INSTALL>/conf/masters如下:
master
b)修改 <HADOOP_INSTALL>/conf/slaves如下:
master
slave1
slave2
6.在所有节点上修改配置文件
a)修改conf/hadoop-env.sh,添加java_home的路径
export JAVA_HOME=/usr/lib/.........
b)修改conf/core-site.xml,加入
<property>
<name>fs.default.name</name>
<value>hdfs://master:54310</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>这里写想存放HDFS文件系统的位置</value>
</property>
c)修改conf/mapred-site.xml,加入
<property>
<name>mapred.job.tracker</name>
<value>master:54311</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>这里写想存放临时文件的位置</value>
</property>
d)修改conf/hdfs-site.xml,加入
<property>
<name>dfs.replication</name>
<value>3</value> 注:这里有3个datanode,所以有三个副本
</property>
7.配置完成,在master上格式化Namenode,
$ bin/hadoop namenode -format
8.然后通过bin/start-all.sh启动各节点即可。
2010-03-24
分享到:
相关推荐
hadoop0.20.2版本在虚拟机中的安装指南,经过测试可以实现
hbase-0.90.5.tar.gz与hadoop0.20.2版本匹配,我在我本地虚拟机已经安装成功可以使用。请放心下载!!!
redHat linux下安装hadoop 0.20.2
hadoop集群环境的搭建
开源分布式架构Hadoop 0.20.2版的Java API文档,使用Hadoop都需要它
CentOS 6.8 + Hadoop2.6.0集群环境搭建指南。
hadoop 0.20.2 可以正常解压,正常使用
Hadoop2.4.1集群环境搭建,按照步骤进行操作应该可以很快解决集群环境的问题
hadoop分布式集群环境搭建参考文档
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
文档中使用 Ubuntu Server 12.04 x64 + JDK 1.7.0 u5 + Hadoop 0.20.2 及 5 台虚拟机做为演示测试环境。希望能对大家带来帮助。本文档适合初学者,指引初学者或初次接触 Hadoop 的人成功安装 Hadoop ,使用代码执行...
hadoop使用sqoop-1.2.0-CDH3B4.tar.gz需要将此包的hadoop-core-0.20.2-CDH3B4拷贝到sqoop/lib目录下
伪分布式安装包,Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统组成,其中,MapReduce是一个离线处理框架,由编程模型(新旧API)、运行时环境和数据...
基于Centos7下的hadoop2.7集群的搭建。(在vmware中的2台虚拟机。)
hadoop0.20.2的eclipse3.3.2插件环境集合,包括hadoop0.20.2的eclipse3.3.2的插件,以及windows和linux下eclipse开发环境,还有帮助文档。
Hadoop伪分布式集群环境搭建 Hadoop伪分布式集群环境搭建
CentOS下Hadoop-0.20.2集群配置文档
hadoop0.20.2的eclipse3.3.2插件及开发环境帮助文档
HADOOP快速入门及搭建集群环境,可以进行搭建试试,文档比较详细