想要在运行中的hadoop集中中动态添加或删除节点,肿么办呢?
【准备工作:】
1. 如是添加节点,则需要将所有新增数据节点上的Hadoop环境都已经按已有环境部署完毕(host、ssh等)
2. 需要的配置项:
(1) dfs.hosts 配置存放待上线数据节点名字文件的绝对路径。(俺把所有线上节点都加上去了)
(2) dfs.hosts.exclude 配置存放待下线数据节点名字文件的绝对路径。
3. 具体配置如下:(hdfs-site.xml)
<property>
<name>dfs.hosts.exclude</name>
<value>/app/cdh4/hadoop-2.0.0-cdh4.3.0/etc/hadoop/hdfs_exclude</value>
</property>
<property>
<name>dfs.hosts</name>
<value>/app/cdh4/hadoop-2.0.0-cdh4.3.0/etc/hadoop/hdfs_include</value>
</property>
1. 下线节点
1) hdfs_exclude文件里每行添加一个服务器名,如我要下线server87,server88,server89,则如下:
server87
server88
server89
2) 选择任意一台节点执行:
./hdfs dfsadmin -refreshNodes
3) 这时可以通过hdfs dfsadmin -report或者web界面查看该datanode状态转为Decommission In Progress。
如果节点上数据比较多,下线会比较慢!一个字:等。。。
当datanode完成数据迁移时,姿态会变为Decommissioned,继续下面操作
4) 删除hdfs_exclude中下线节点的hosts,重新刷新:
./hdfs dfsadmin -refreshNodes
5) 删除slaves中下线节点的hosts
2. 上线节点
上线节点基本与下线相同
1) hdfs_include文件里每行添加一个上线服务器名,同时保证hdfs_exclude文件为空。
2) ./hdfs dfsadmin -refreshNodes
3) 在要上线的节点上启动datanode:
./hadoop-daemon.sh start datanode
4) 如需要启动nodemanager,则执行:
./yarn-daemon.sh start nodemanager
5) 修改slaves,添加上线节点的hosts
随笔原创,如有不当或错误之处,还望批评指正,感激涕零!!!
转载请说明出处:
http://xmaster.iteye.com/admin/blogs/1930231
分享到:
相关推荐
2021-05-11 16:51:52,925 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to initialize container ...
presto-hadoop-cdh4.zip,CDH4 Hadoop for Presto的阴影版本CDH4 Hadoop for Presto的阴影版本
cloudera公司的CDH4版本hadoop安装说明
包括pom修改的每个截图和配置,该文档从有道云笔记到处略加修改,其中pom内容格式需要你手动调整一下. 富含 大量截图帮助定位和配置. 含hive on tez 常见报错的解决方法. tez比spark更省心. spark容易出现内存问题.
CDH添加第三方服务的方法
cdh7.1.7包括: CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括: cloudera-...
CDH6.2.0、datax-web2.1.2 离线安装文档,从本地yum源配置到数据库安装以及cdh和datax-web的安装,亲测非常详细
CDH7及以上版本已经更名为CDP 本资源打包了CDH7.1.5 搭建所需要的各种安装文件,包括: cm7.2.4-redhat7.tar.gz manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera ...任何问题可添加微信咨询:15854186970
CDH6.3.2安装包全+Flink1.17+Phonex+Doris2.0 都是CDH适配的
由于CSDN上传文件大小限制,大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载,我打包了CDH6.3.2 搭建所需要的各种安装文件,包括: manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...
CDH6.3.2完整安装包网盘下载,包含 CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha256、CDH-6.3.2-1....
2安装和配置Mysql数据库 4 3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 10 3.3 设置cloudera manager使用的mysql数据库 10 3.4 使用本地类库安装CDH5 11 4 HDFS启用HA高可用...
从基础知识点到安装部署、集群配置、各种服务安装到增加新节点,通过知识点 + 实际操作的方式帮助小白快速掌握CDH的安装和配置。 课程亮点 1,Cloudera Manager可视化、自动部署和配置,稳定性好 2,理论+操作,...
开源的hadoop生态圈的安装和维护很难,通过cloudera公司的cdh来管理,但是对于CDH的安装对于初学者总会存在一定的困难,本文档详细介绍CDH的离线安装和使用
从CDH和HDP到CDP看大数据平台架构的演进 开源为什么需要企业支持? CDH/HDP到CDP 为什么要使用CDP
cdh6.3.2 适配 Phoenix; cdh6.3.2 集成 Phoenix
文件: cm6.3.3-redhat7.tar.gz cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel....如遇技术问题可添加微信咨询:15854186970
Cloudera发布的实时查询开源项目,...mpala采用与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax),这样在使用CDH产品时,批处理和实时查询的平台是统一的。此文档详细解释了Impala的安装配置和使用。
本资源包含el7版本的CM5.12.1和CDH5.12.1: cloudera-manager-daemons-5.12.1-1.cm5121.p0.6.el7.x86_64.rpm oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm jdk-6u31-linux-amd64.rpm enterprise-debuginfo-5.12.1-1...
01、hadoop-common-3.0.0-cdh6.3.1.jar 02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-standalone.jar 05、hive-metastore-2.1.1-cdh6.3.1.jar 06、hive-...