在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下:
1, 从集群中移走节点,需要对移走节点的数据进行备份:
在主节点的core-site.xml配置文件中添加如下内容:
<property>
<name>dfs.hosts.exclude</name>
<value>/etc/hadoop/conf/excludes</value>
</property>
说明
dfs.hosts.exclude:指要删除的节点
/etc/hadoop/conf/excludes:指定要被删除文件所在路径及名称,该处定义为excludes
2, 在1中设置目录中touch excludes,内容为每行需要移走的节点
10.3.14.91
3,进入/usr/lib/hadoop/bin 运行命令:hadoop dfsadmin -refreshNodes
该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。
执行完成被删除节点datanode消失了,但是tasktracker还会存在,需要手动停掉
4,然后通过 bin/hadoop dfsadmin -report查看。
结果略
5,通过4中命令可以查看到被删除节点状态,如10.3.14.91
Decommission Status : Decommissioned
说明从91往其他节点同步数据已经完成,如果状态为Decommission Status : Decommissione in process则还在执行。
至此删除节点操作完成
总结
在拔掉节点时注意要把往hadoop放数据程序先停掉,否则程序还会往要删除节点同步数据,删除节点程序会一直执行。
数据节点间的数据同步还是相当给力的,眨眼功夫就完成了
分享到:
相关推荐
,2009年的规模在 4000 台节点左右)。而数据库由于 ACID 语义的严格限制,扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有 100 台左右。 9. 数据规模。由于 Hive 建立在集群上并可以利用 ...
Windows10下搭建eclipse开发hadoop的开发环境 其中的第一至四步骤。 1.2、请参考文章: maven的安装、路径配置、修改库文件路径和eclipse中的配置,解决Eclipse使用Maven下载慢的问题 1.3、创建一个maven工程HDFS ...
大数据学习笔记:Hadoop 2.x的版本架构模型介绍 第一种:NameNode与ResourceManager单节点架构模型 文件系统核心模块: NameNode:集群当中的主节点,主要用于管理集群当中的各种元数据 secondaryNameNode:主要能...
第一部分 Spark学习 6 第1章 Spark介绍 7 1.1 Spark简介与发展 7 1.2 Spark特点 7 1.3 Spark与Hadoop集成 7 1.4 Spark组件 8 第2章 Spark弹性分布数据集 9 2.1 弹性分布式数据集 9 2.2 MapReduce数据分享效率低 9 ...
手把手教你搭建分布式Hadoop家族集群视频教程(视频+讲义+笔记+配置),内容包括 Hadoop,SQOOP,Hive,Hbase的安装配置及集群搭建。内容包括但不限于: 01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点...
学习笔记 来自在线课程的综合说明: 大数据 -从加州大学圣地亚哥分校释放海量数据集中的价值 Randal Scott King学习 Hadoop 2 来自加州大学圣地亚哥分校的Hadoop 平台和应用程序框架 目录 第一节 Hadoop生态系统概述...
1.3 Spark与Hadoop集成 ................................................................................................ 7 1.4 Spark组件 ....................................................................
Spark-Core文档是本人经三年总结笔记汇总而来,对于自我学习Spark核心基础知识非常方便,资料中例举完善,内容丰富。具体目录如下: 目录 第一章 Spark简介与计算模型 3 1 What is Spark 3 2 Spark简介 3 3 Spark...
谷歌师兄的leetcode刷题笔记日志解析器 基于机器学习的日志解析器 数据集 日志大小 描述 来源 高密度文件系统 11197705 Hadoop 运行时日志 W. Xu、L. Huang、A. Fox、D. Patterson 和 MI Jordan,“通过挖掘控制台...
在了解了更多技术之后,我们可能还会讨论节点、集 群管理层、负载平衡和并⾏处理等。 10. ⿊暗数据。依我看来,这个词适⽤于那些吓得六神⽆主的⾼级管理层们。从根本上来说,⿊暗数据是指那些被企业收集和处理但⼜不...