hadoop 0.21.0集群搭建

hadoop 0.21.0 环境的搭建。

 

一共有4台机器：

Master：10.125.20.5

Slaves：10.125.20.6，10.125.20.8，10.125.20.9

 

第一步：Linux服务器Host配置

每台机器修改/etc/hosts，添加以下几行：
10.125.20.5        master        master
10.125.20.6        hadoop1        hadoop1
10.125.20.8        hadoop2        hadoop2
10.125.20.9        hadoop3        hadoop3

修改HostName（这一步是可选的，不过配了之后看文件分块信息更加明确）

10.125.20.5上执行 hostname master

10.125.20.6上执行 hostname hadoop1

10.125.20.8上执行 hostname hadoop2

10.125.20.9上执行 hostname hadoop3

 

第二步：各台Slaves建立对Master的信任关系，以使得可以从Master无密码直接ssh登录Slaves

Master机器上执行：

ssh-keygen -t rsa

 它会生成以下文件：

/root/.ssh/id_rsa
/root/.ssh/id_rsa.pub

 执行以下指令，将公钥拷贝到Slaves：

scp /root/.ssh/id_rsa.pub root@hadoop1:/root/.ssh/authorized_keys
scp /root/.ssh/id_rsa.pub root@hadoop2:/root/.ssh/authorized_keys
scp /root/.ssh/id_rsa.pub root@hadoop3:/root/.ssh/authorized_keys

 注意这种方式会覆盖Slaves对其它机器的信任关系，为了避免覆盖，可以将Master上/root/.ssh/id_rsa.pub里面的内容追加到各台Slaves机器的/root/.ssh/authorized_keys文件尾部。

试一下：

#ssh master
#ssh hadoop1
#exit
#ssh hadoop2
#exit
#ssh hadoop3
#exit

 现在可以无密码登录各台slave了。

 

第三步：安装JDK

我安装的jdk1.6.0_21 linux64 bpm位版本。请到java官方网站下载。

Master和Slave各上传一份JDK安装文件，然后执行：

#chmod +x jdk6-xxxx.rpm.bin
#./jdk6-xxxx.rpm.bin

 安装完成后JDK位于/usr/java/jdk1.6.0_21

 

第四部：“安装”hadoop

到官网下载

 

晚上继续完成。。。。未完待续