向一个正在运行的Hadoop集群中增加几个新的Nodes
1. 新节点上部署java/hadoop程序,配置相应的环境变量
2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys
3. 新节点上设置host,需要有集群中各节点的host对应
4. 新节点上建立相关的目录,并修改属主
5. master的slaves文件中增加上相的节点,master上增加相应的host
6. 在新节点上启动datanode和tasktracker
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start datanode
/opt/sohuhadoop/hadoop/bin/hadoop-daemon.sh start tasktracker
7. 进行block块的均衡
在hdfs-site.xml中增加设置balance的带宽,默认只有1M:
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>10485760</value>
<description>
Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second.
</description>
</property>
运行以下命令:
/opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 3
均衡10个节点,移动400G数据,大概花费了3个小时
The cluster is balanced. Exiting…
Balancing took 2.9950980555555557 hours
原网址:http://www.linuxidc.com/Linux/2012-01/52227.htm 作者:marysee
相关推荐
公司股权转让协议书委任书.pdf
CCAR-183民用航空器适航委任代表和委任单位代表的规定.pdf
期货顾问委任契约精选.doc
物业管理委任契约书.doc
委任监护合同内容和形式.pdf
委任监护合同的当事人.pdf
物业管理委任契约书1.doc
委任期货顾问劳动合同通用版.pdf
购车贷款公证机关的委任书.pdf
参考资料-物业管理委任契约书.zip
【合同大全】物业委任契约书.doc
参考资料-物业管理委任契约书1.zip
【合同大全】物业委任契约书1.doc
物业管理委任契约书精品协议模板2021.doc
公司职能部门消防安全责任人委任书0.pdf
物业管理委任契约书1精品协议模板2021.doc
企业人才的识别、委任与使用[001].doc