Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息
如果NameNode挂了,也就意味着整个Hadoop集群也就完了
所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点
1. 在hdfs-site.xml中,配置多个name的dir到不同的磁盘分区上:
<property>
<name>dfs.name.dir</name>
<value>/pvdata/hadoopdata/name/,/opt/hadoopdata/name/</value>
</property>
2. 在另外的一台服务器上配置Secondary NameNode:它是NameNode的一个备份
Secondary NameNode会定期合并fsimage和edits日志,将edits日志文件大小控制在一个限度下
合并的时机是由2个配置参数决定的:
fs.checkpoint.period,指定连续两次检查点的最大时间间隔, 默认值是1小时。
fs.checkpoint.size定义了edits日志文件的最大值,一旦超过这个值会导致强制执行检查点(即使没到检查点的最大时间间隔)。默认值是64MB。
Secondary NameNode的配置过程如下:
- 在conf/masters中指定第二名称节点的主机名
- 在core-site.xml中指定checkpoint的目录
<property>
<name>fs.checkpoint.dir</name>
<value>/opt/hadoopdata/secondname,/pvdata/hadoopdata/secondname</value>
<description>Determines where on the local filesystem the DFS secondary
name node should store the temporary images to merge.
If this is a comma-delimited list of directories then the image is
replicated in all of the directories for redundancy.
</description>
</property>
如果NameNode节点挂了,可以按照如下步骤来从Secondary NameNode来恢复:
- 在dfs.name.dir指定的位置建立一个空文件夹
- 从Secondary NameNode上把secondname的目录给scp到新的NameNode机器的fs.checkpoint.dir下
- 使用hadoop/bin/hadoop namenode -importCheckpoint来启动NameNode,不要执行format命令
- 使用hadoop fsck /user命令检查文件Block的完整性
详细的Secondary NameNode细节可参考Hadoop官方文档:
http://hadoop.apache.org/common/docs/r0.20.2/hdfs_user_guide.html#Secondary+NameNode
相关推荐
2. NameNode 的设计和实现:论文详细介绍了 NameNode 的设计和实现,包括 NameNode 的功能和作用,以及它在 Hadoop 集群中的角色。 3. DataNode 的设计和实现:论文详细介绍了 DataNode 的设计和实现,包括 ...
启动Hadoop集群:启动Hadoop集群的各个节点,包括NameNode、SecondaryNameNode、DataNode等。 用途: 数据存储和处理:Hadoop可以存储海量数据,并使用MapReduce等编程模型进行数据处理和分析。 数据挖掘和机器学习...
这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,...
在这篇文章中,我们将总结 Hadoop 大数据就业面试题中的知识点,涵盖 Hadoop 的安装、配置、进程、调度器、MapReduce 编程语言等方面。 一、Hadoop 的安装和配置 在安装 Hadoop 之前,需要 root 账户登录,然后...
1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案 1.5 方案优缺点比较 第2章 ...
客户端以 packet 为单位接收,先在 本地缓存,然后写入目标文 Hadoop 集群中 Hadoop 需要启动哪些进程, 它们的作用分别是什么? 1.NameNode 它是 hadoop 中的主服务器,管理文件系统名称空间和 对 集 群 中 存 储 的...
a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 答案 ABD 具体可查看什么是 Zookeeper,Zookeeper 的作⽤是什么,在 Hadoop 及 hbase 中具体作⽤是什么。 1. 1. Client 端上传⽂件的时候下列哪项正确 a)数据经过 ...
· 单⼀的Namenode的内容容量和性能有限,使得Hadoop集群的节点数量被限制到2000个左右,能⽀持的⽂件系统被限制在10- 50PB,最多⽀持的⽂件数量⼤约为1.5亿; (3)⽋缺各种企业特性: · 企业的个性化需求、定制...
5、自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制) 总的来说, 将集群看做一个操作系统,像操作本地文件一样操作远程文件。 但是fourinone并不提供...
5、自带一个集群文件浏览器,可以查看集群所有硬盘上的文件(不同于hadoop的namenode,没有单点问题和容量限制) 总的来说, 将集群看做一个操作系统,像操作本地文件一样操作远程文件。 但是fourinone并不提供一个...
原理:通过双NameNode消除单点故障。 1.HDFS-HA工作要点 ...实现了一个zkfailover(Hadoop的一个进程-故障转移),常驻在每一个namenode所在的节点,每一个zkfailover负责监控自己所在NameNode节点