我们现有的Hadoop集群已经运行了一段时间了 (转自高飞鸟博客)
由于集群中的服务器分布在2个不同的机房,受跨机房带宽的限制
集群中在2个机房之间的数据传输很慢
所以想把另一个机房的3台服务器从Hadoop集群中去掉
Hadoop提供了Decommission的特性,可以按照以下步骤来操作:
1. 在hadoop的conf目录下生成一个excludes的文件,写上需要remove的节点ip
一个节点一行,注意要写ip,不能写Hostname,如:
10.15.10.41
10.15.10.42
10.15.10.43
2. 在hdfs-site.xml中增加配置:
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/sohuhadoop/conf/excludes</value>
<final>true</final>
</property>
3. 复制以上2个文件到集群节点中的NameNode即可,不需要分发到所有DataNode中
4. 执行hadoop dfsadmin -refreshNodes命令,它会在后台进行Block块的移动
从移出的Nodes上移动到其它的Nodes上面
5. 通过以下2种方式查看Decommission的状态:
hadoop dfsadmin -report
http://10.10.71.220:50070/dfsnodelist.jsp
正在执行Decommission,会显示:
Decommission Status : Decommission in progress
执行完毕后,会显示:
Decommission Status : Decommissioned
相关推荐
CentOS7搭建有三个结点的Hadoop-3.3.2集群的配置免密登录,总的原则有以下几点: 1)、用useradd -m hadoop命令创建hadoop用户 2)、用passwd Hadoop命令设置hadoop密码 3)、用vim /etc/sudoers给hadoop用户分配...
这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,...
针对分布式平台资源利用的特征,在集群局部资源利用密度异常情况检测技术的基础上,引入...最后通过某高校基于Hadoop服务器集群采集到的数据进行异常检测,验证了提出的基于最近邻结点资源异常检测方法的准确率和可行性。
1.集群配置,包含三个结点,主节点控制所有的子节点 2.集群已经搭建好了,解压之后直接可以使用Finalshell和VMware连接 3.包含全套组件:hdfs,hbase,hive,sqoop,mysql,pig,spark等大数据组件 4.如果不知道如何...
实验结果表明,Crypt-Lucene与SSE-1相比,索引构建时间减少了约为60%,同时具有较好的空间性能,对于大文档集合,利用MapReduce在4结点构成的Hadoop集群上并行构建8个Crypt-Lucene索引能减少83.4%的时间。
客户端以 packet 为单位接收,先在 本地缓存,然后写入目标文 Hadoop 集群中 Hadoop 需要启动哪些进程, 它们的作用分别是什么? 1.NameNode 它是 hadoop 中的主服务器,管理文件系统名称空间和 对 集 群 中 存 储 的...
在配置完全分布式的时候我们需要将主结点的配置文件分发到多台从结点上,使用xsync脚本就不用照着主节点一个个去改从结点的配置文件,比较省时省力,这个脚本内套rsync命令和循环,rsync相对于使用scp更快更简便,...
安装CentOS7-X64,选择带GUI的服务器,非管理结点也可以最小安装+开发。选择带Infiniband 支持,Hdfs高性能稳定性集群搭建
Fourinone(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想解决问题...
淘宝Fourinone(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想...
关键特性: 线性扩展 7 增加一个新结点到VoltDB集群可以有限提升集群的最大吞吐量,也可以增加整个集群的内存容量 集群的大小对应用来说是透明的 高频大数据解决方案全文共28页,当前为第7页。 关键特性: 线性扩展...