参考:http://touch-123.iteye.com/blog/1493594
以前Hadoop版本中,NameNode是HDFS集群的单点故障(single point of failure,SPoF),SPoF指系统中这个部件失效或停止运转将会导致整个系统不能工作。而这在下面两种情况出现:
(1) 意外事件如机器crash,集群直到重启NameNode操作执行后才可用;
(2) 计划维修事件,如NameNode上的软硬件升级会导致NameNode一段宕机时间。
HDFS HA提供在一个集群中配置两台冗余NN来解决上述问题,是一种双机热备。这可以在NN崩溃时快速的故障恢复,同时在自发管理的计划维修时快速失效备援。当前hadoop版本是hadoop-0.23.0-cdh4b1
HA主要机制是:两个单独机器运行NN,在所有时刻只有一台出于active状态,而另外一台出于standby状态。active NN负责客户端对集群的所有操作,而Standby NN作为从设备只是保存足够的状态来进行快速的故障恢复。
HA总体流程图
Block location: 为了快速failover,standby NN必须知道这个的相关信息。为了达到此目的,所有DN上都配置了此两个NN,并且发送block location和heartbeat到两个NN上。
至关重要的一点:只有一个Active NN.两个NN都是active即所谓脑裂情景(split-brain scenario),因此管理员必须设置一个对共享存储的fencing method(绝缘方法),当不能确定前Active NN不会自己重新变成active时,需要切断其对共享存储的访问权限,如此便能使新active NN安全的故障恢复。
standby NN也执行namespace的状态检查,因此HA集群不需要运行Secondary NN, Checkpoint Node, Backup Node。
下面是详细的配置安装,请参见CDH4_High_Availability_Guide_b1.pdf。cloudera 官网有http://www.cloudera.com/.或者在我资源里下载看(免费):http://download.csdn.net/detail/liuxingjiaofu/4238395
分享到:
相关推荐
Hadoop_HDFS系统双机热备方案
互相学习,重在分享,技术交流互相学习
方案1 drbd+heartbeat 采用drbd实现共享存储,采用heartbeat实现心跳监控,所有服务器都配有双网卡,其中一个网卡专门用于建立心跳网络连接。 方案2磁盘阵列或SAN+ heartbeat 名字节点负责整个文件系统目录结构、...
hadoop双机热备——facebook hadoop HA的资料整理,流汗整理
drbd+heartbeat+hadoop+apache配置详细奥
利用heartbeat和drbd实现HDFS的双机热备的一个例子,吐血整理~
完成了 Ubuntu11.10下安装Hadoop1.0.2(双机集群),并用wordcount函数进行了测试。
Hadoop Multi Node Cluster 安装步骤.pdf
Hadoop Single Node Cluster的详细安装,master主机与data1、data2、data3三台节点连接。
hadoop 1.0.4 single node installation guide step by step.
配置和运行hadoop,以multi node方式在ununtu linux 上。
假定有 3 台机器,机器上均按照了 Ubuntu 操作系统: 192.168.1.138 hadoop-master //作为 Hadoop 的主机用 192.168.1.140 hadoop-node1 //作为 Hadoop 的数据节点用 192.168.1.141 hadoop-node2 //作为 Hadoop 的...
自己整理过的,在Ubuntu linux上以单节点模式下配置,运行Hadoop。
内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha name node等。其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对...
内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha name node等。其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对...
内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha name node等。其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对...
内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新的ha解决方案cloudrea ha name node等。其中有关backup node方案及avatarnode方案的内容是本书重点,尤其是对...
zookeeper-3.4.5-cdh5.10.0.tar.gz工具包用于支持hadoop的高可用热备管理
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....
# hadoop 192.168.1.151 name-node 192.168.1.155 data-node-sa 192.168.1.156 data-node-sb 192.168.1.157 data-node-sc spark conf/slaves worker-sa worker-sb worker-sc 待补充 。。。 hadoop etc/hadoop/...