hadoop集群配置

参考《hadoop开发者》第一期中的内容配置了hadoop集群。

软件环境：

ubuntu-10.04.1-server-i386

 jdk-7u3-linux-i586.tar.gz

hadoop-1.0.0.tar.gz

linux的版本选型比较麻烦，需要考虑版权和稳定性，经过查找资料和多方面的比较最后选择ubuntu server版本。

jdk在ubuntu中安装还是使用tar文件方便，直接解压后配置环境变量即可使用。相关环境环境变量配置请参考附录文章：

 

安装前注意：

1、 ssh 必须安装；

2、 NTP：集群的时钟要保证基本的一致。如果你查询的时候或者是遇到奇怪的故障，可以检查一下系统时间是否正确!
设置集群各个节点时钟：date -s “2012-02-13 14:00:00”

 

安装时注意：

按照提示步骤走，但要模拟真实环境，我用虚拟机搭建了4个linux环境，一个namenode剩余3个都是datanode。

 

配置完后执行hadoop相关命令都提示如下错误

Warning: $HADOOP_HOME is deprecated.

12/02/28 01:31:01 INFO ipc.Client: Retrying connect to server: namenode/192.168.0.200:9000. Already tried 0 time(s).

最后将hdfs-site.xml中的内容用如下部分替换。

 

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

  重新执行hadoop namenode -format

然后hadoop就可以执行文件操作了。需要注意的是/etc/hosts中添加了配置

192.168.0.200  namenode

这些都需要进一步去验证。

 

PS：可以使用jps命令查看结果确认服务是否成功

正常情况下NameNode端显示如下结果：

 3489 NameNode
3237 JobTracker
3158 SecondaryNameNode
3752 Jps

DataNode端显示如下结果：

1457 Jps
1418 TaskTracker
1334 DataNode

如果少其中一个服务则表示服务没有正常启动，需要检查或者重启。

 

如果DataNode端没有正常启动请配置/etc/hosts文件进行名称解析，对集群里的每个服务器都进行配置。配置参考如下：

 127.0.0.1 localhost

192.168.0.200 namenode
192.168.0.203 datanode1
192.168.0.204 datanode2
192.168.0.205 datanode3

 

 《Hadoop技术论坛》

 

《Ubuntu FTP服务配置》、《Ubuntu 安装jdk》、《Ubuntu 设置IP》

 

官方文档《Hadoop集群搭建》

 

注：src/core/core-default.xml可以用来替换 hdfs-site.xml中的内容作为默认内容。