添加节点
1.修改host
和普通的datanode一样。添加namenode的ip
2.修改namenode的配置文件conf/slaves
添加新增节点的ip或host
3.在新节点的机器上,启动服务
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker
4.均衡block
[root@slave-004 hadoop]# ./bin/start-balancer.sh
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
3)设置balance的带宽,默认只有1M/s
1 <property> 2 <name>dfs.balance.bandwidthPerSec</name> 3 <value>1048576</value> 4 <description> 5 Specifies the maximum amount of bandwidth that each datanode 6 can utilize for the balancing purpose in term of 7 the number of bytes per second. 8 </description> 9 </property>
注意:
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
删除节点
1.集群配置
修改conf/hdfs-site.xml文件
1 <property> 2 <name>dfs.hosts.exclude</name> 3 <value>/data/soft/hadoop/conf/excludes</value> 4 <description>Names a file that contains a list of hosts that are 5 not permitted to connect to the namenode. The full pathname of the 6 file must be specified. If the value is empty, no hosts are 7 excluded.</description> 8 </property>
2确定要下架的机器
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
slave-003 slave-004
3.强制重新加载配置
[root@master hadoop]# ./bin/hadoop dfsadmin -refreshNodes
它会在后台进行Block块的移动
4.关闭节点
等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了。
[root@master hadoop]# ./bin/ hadoop dfsadmin -report
可以查看到现在集群上连接的节点
正在执行Decommission,会显示: Decommission Status : Decommission in progress 执行完毕后,会显示: Decommission Status : Decommissioned
5.再次编辑excludes文件
一旦完成了机器下架,它们就可以从excludes文件移除了
登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下
相关推荐
上一篇文章中我们介绍了Hadoop编程基于MR程序实现倒排索引示例的有关内容,这里我们看看如何在Hadoop中动态地增加和删除节点(DataNode)。 假设集群操作系统均为:CentOS 6.7 x64 Hadoop版本为:2.6.3 一、动态...
hadoop-2.52-hbase-0.14-hadoop2 ha高可用安装,hbase动态添加删除节点,hbase集群正常状态及启动,hbase 问题汇总
3.4.3 Hadoop 纠删码概述…·…········· ·· ·· ····· ·· ····· · ··· · ······· ·· ….... . .. .…..... .. ....................... 147 3.4.4 纠删码技术在Hadoop 中的...
使用Python-api实现列出节点、创建节点、获取节点数据、修改节点数据、删除节点、获取节点ACL等代码编写 使用python-api实现使用超级用户授权连接,并验证 Zookeeper实现主机上下线感知,linux主机名与ip地址使用...
删除2个子节点 1.Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。 2.编辑myid文件,在文件中添加服务器的编号时,要小心...
24.1 添加分区(Adding a Partition) 93 24.2 重命名分区(Renaming a Partition) 93 24.3 删除分区(Droping a Partition) 93 第25章 内置运算符 94 25.1 关系运算符 94 25.2 算术运算符 96 25.3 逻辑运算符 97 25.4 ...
HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。
HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。
HDFS能 够提供对数据的可扩展访问,通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持传统的层次文件组织结构,同现 有的一些文件系 统类似,如可以对文件进行创建、删除、重命名等操作。
针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合...
流媒体之间介绍: 此存储库托管框架的代码,该框架提供流中介中心性,同时可以添加或删除边缘。 接下来,我将包含标准免责声明并描述软件的多机(批处理)版本(通过 Hadoop 的 MapReduce)的输入选项。 单机选项也...
ClouderaManager的功能:管理:对集群进行管理,如添加、删除节点等操作。监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案...
1、元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等 2、对集群文件的解析支持(包括按行,按分割符,按最后标识读取) 3、对整形数据的高性能读写支持...
在另一个节点上添加 KMS HDFS 加密练习 将 Hive 仓库移至 EZ 安全的 Hadoop 练习 高密度文件系统 蜂巢 HBase Sqoop 删除加密的 Hive 表 将 Knox 配置为通过 AD 进行身份验证 利用 Knox 连接到 Hadoop 集群服务 网络...
1、元数据访问,添加删除,按块拆分, 高性能并行读写,排他读写(按文件部分内容锁定),随机读写,集群复制等 2、对集群文件的解析支持(包括按行,按分割符,按最后标识读取) 3、对整形数据的高性能读写支持...
集群工作者这是一个用于在集群中分发Python作业的简单客户端/主服务器/工作人员系统。... 无论客户端是否运行,您都可以随意添加和删除工作程序。 相对于clusterfutures的优势在于,集群管理基础结构不涉
1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 ....................................................................