http://book.51cto.com/art/201205/339038.htm
Hadoop的Secondary NameNode方案(不是双机热备)
该方案启动一个Secondary NameNode节点,该节点定期从NameNode节点上下载元数据信息(元数据镜像fsimage
和元数据库操作日志edits),然后将fsimage和edits进行合并,生成新的fsimage(该fsimage就是Secondary
NameNode下载时刻的元数据的Checkpoint),在本地保存,并将其推送到NameNode,同时重置NameNode上的edits。
优点
Hadoop自带机制,成熟可靠,使用简单方便,无需开发,配置即可。
Secondaryary NameNode定期做Checkpoint,可保证各个Checkpoint阶段的元数据的可靠性,同时,进行fsimage与edits的合并,可以有效限制edits的大小,防止其无限制增长。
缺点
没有做到热备,当NameNode无法提供服务时,需要重启NameNode,服务恢复时间与文件系统规模大小成正比。
Secondary NameNode保存的只是Checkpoint时刻的元数据,因此,一旦NameNode上的元数据损坏,通过Checkpoint恢复的元数据并不是HDFS此刻的最新数据,存在一致性问题。
分享到:
相关推荐
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第九讲Hadoop图文训练课程:剖析NameNode和Secondary NameNode的工作机制和流程. 此教程来自于王家林免费发布的3本Hadoop教程:云计算分布式大数据...
今天小编就为大家分享一篇关于Hadoop中namenode和secondarynamenode工作机制讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
Hadoop大数据期末考试重点,选择、判断、简答
hadoop快速入门,hadoop安装及hadoop配置
包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode和DataNode stop-dfs.sh 停⽌Hadoop HDFS守护进程NameNode、...
基于Hadoop部署实践对网站日志分析 1. 项目概述 本次要实践的数据日志来源于国内某技术学习论坛,该论坛由某培训机构主办,汇聚了众多技术学习者,每天都有人发帖、回帖。...Secondary NameNode.....
包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh : 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack jps : 查看进程...
二、为什么需要HA和Federation单点故障在Hadoop 2.0之前,也有若干技术试图解决单点故障的问题,我们在这里做个简短的总结Secondary Na
1.6 用Hadoop统计单词——运行第一个程序 1.7 Hadoop历史 1.8 小结 1.9 资源 第2章 初识Hadoop 2.1 Hadoop 的构造模块 2.1.1 NameNode 2.1.2 DataNode 2.1.3 Secondary NameNode 2.1.4 JobTracker 2.1.5 ...
3-4节点,集群部署自己确定,比如集群涉及的多种角色namenode,secondary namenode, datanode,resourcemanager等的节点分配,并用表格形式给出。给出可访问的ip,用户名密码。(阿里云直接给公网ip,校园网需给公网和...
91.6 用Hadoop统计单词——运行第一个程序 111.7 Hadoop历史 151.8 小结 161.9 资源 16第2章 初识Hadoop 172.1 Hadoop的构造模块 172.1.1 NameNode 172.1.2 DataNode 182.1.3 Secondary NameNode ...
初识Hadoop2.1 Hadoop 的构造模块2.1.1 NameNode2.1.2 DataNode2.1.3 Secondary NameNode2.1.4 JobTracker2.1.5 TaskTracker2.2 为Hadoop 集群安装SSH2.2.1 定义一个公共账号2.2.2 验证SSH安装2.2.3 生成SSH密钥对...
91.6 用Hadoop统计单词——运行第一个程序 111.7 Hadoop历史 151.8 小结 161.9 资源 16第2章 初识Hadoop 172.1 Hadoop的构造模块 172.1.1 NameNode 172.1.2 DataNode 182.1.3 Secondary NameNode 192.1.4 JobTracker...
50090 dfs.namenode.secondary.http-address,如:172.25.39.166:50090 50091 dfs.namenode.secondary.https-address,如:172.25.39.166:50091 50020 dfs.datanode.ipc.address 50075 dfs.datanode.http.address ...
Hadoop进阶地址:1 第一章 概述hadoop的体系架构块:DataNode:NameNode:Secondary NameNode:Hadoop1.X架构图Hadoop 2.Xhadoop2.0以后版本移除了jobtracker tasktracker,改由Yarn平台的resourcemanager负责统一...
从最新检查点后,hadoop将对每个文件的操作都保存在edits中,为避免edits不断增大,secondary namenode就会周期性合并fsimage和edits成新的fsimage,edits再记录新的变化, 这种机制有个问题:因edits存放在Namenode...
辅助名称节点(Secondary NameNode) 是NameNode发生故障时的备用节点,主要功能是进行数据恢复,它的职责是合并NameNode的EditLog到FsImage文件中。 Secondary NameNode工作原理 大数据技术及应用教学课件第3章-...
SecondaryNameNode 内存需求和 NameNode 在⼀个数量级上,所以通常 secondary NameNode(运⾏在 单独的物理机器上)和 NameNode 运⾏在不同的机器上。 JobTracker 和 TaskTracker JobTracker 对应于 NameNode ...
目录 HDFS特点概况 HDFS核心组件的职责 HDFS数据流程 HDFS写数据流程 HDFS读数据流程 ...HDFS集群包括,NameNode和DataNode以及Secondary Namenode。 NameNode负责管理整个文件系统的元数据,以及每一个
-------hadoop配置--------- core-site.xml <name>fs.defaultFS <value>hdfs://slave-01:9000 ... <name>dfs.namenode.secondary.http-address</name> <value>slave-02:9001 </configuration>