`
heipark
  • 浏览: 2082518 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop1.0中NameNode HA的妥协方案

 
阅读更多

 hadoop1.0没有HA,可以添加NFS做为metadata存储备份,如果NN挂了,可以借助NFS上文件重新建立NN,这样虽然不能实现无间断服务,但可以保障集群数据不丢失。修改hdfs-site.xml配置如下:

 

<property>
  <name>dfs.name.dir</name>
  <value>/data/dfs/nn,/nfs/dfs/nn</value>
</property>


引入NFS后,会带来新问题:

  1. 如果NFS无法访问,NN无法启动
  2. 如果NFS中途故障,机器可以读取文件,但不能写入(写操作会挂住)

所以还需要使用nagios把NFS监控起来(官网搜索 check_nfs_mountpoint.sh)

 

--end

 

 

分享到:
评论

相关推荐

    Hadoop1.0&2.0快速入门

    为公司内部培训编制的Hadoop入门ppt,包含1.0,2.0相关核心理论知识,2.3.0以后版本知识不涉及

    Hadoop1.0伪分布式安装步骤

    开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。 开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。

    云计算 hadoop1.0 源代码

    它的上一个版本是0.20.205.0,新版的版本号原是 0.20.205.1,但开发者表示,Hadoop已经成熟几年前就做好了应用于生产的准备,但有些客户在采用前希望看到版本号是1.0,所以他们决定直接跳到了1.0。

    hadoop1.0\2.0学习笔记及

    hadoop1.x、2.x,hadoop学习个人笔记,hadoop环境搭建,java开发实例等

    hadoop1.0帮助文档

    最新hadoop1.0帮助文档,学习hadoop必备

    hadoop-1.0源代码(全)

    hadoop-1.0源代码(全):包括bin、conf、ivy、lib和src等文hadoop-1.0源代码(全):包括bin、conf、ivy、lib和src等文件夹件夹

    hadoop1.0 Failed to set permissions of path 解决方案

    hadoop 启动时 TaskTracker无法启动 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-admin \mapred\...

    hadoop1.0集群搭建.txt

    该文档主要是Hadoop的集群搭建的方式,对每个人都很有帮助

    Hadoop1.0部署的各种坑及解决之道

    NULL 博文链接:https://ajaxcn.iteye.com/blog/2288977

    HadoopHA集群部署、规划HadoopHA集群教学课件.pptx

    Hadoop HA 包括:NameNode HA 和 ResourceManager HA。 DataNode和NodeManager本身就是被设计为高可用的,不用对它们进行特殊的高可用处理 。 Hadoop HA 集群模式配置方法 我们将在完全分布式集群的基础上完成HA集群...

    Hadoop源码分析(完整版)

    Hadoop源码分析(完整版),详细分析了Hadoop源码程序,为学习Hadoop的人提供很好的入门指导

    hadoop常见问题及解决办法

    在网上搜集的以及本人自己总结的hadoop集群常见问题及解决办法,融合了网上常常搜到的一些文档以及个人自己的经验。

    详解hadoop

    详解hadoop Hadoop1.0架构 Hadoop1.0编程 Hadoop1.0弊端 Hadoop2.0架构 Hadoop2.0编程 Hadoop2.0部署

    Hadoop2.x HA环境搭建

    Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建

    hadoop NameNode 源码解析

    在本文中,我们将深入探讨 Hadoop NameNode 的源码,了解其启动过程、配置加载、RPC 服务端创建、 Namenode 对象初始化等关键步骤。 启动 NameNode ---------------- 在 Hadoop 中,NameNode 的启动过程由 `main` ...

    Hadoop2.0分布式HA环境部署

    Hadoop2.0分布式HA环境部署,原理介绍,对比hadoop1.0优化点,支持HA机制,介绍了zookeeper安装,

    Hadoop Namenode恢复

    Hadoop Namenode 恢复 Hadoop Namenode 是 Hadoop 分布式文件系统的核心组件之一,负责管理文件系统的命名空间。然而,在生产环境中,namenode 的崩溃可能会导致整个集群的不可用。因此,namenode 的恢复是非常重要...

    Hadoop高可用配置HA.docx

    Hadoop高可用配置HA.docx

    hadoop3.0集群搭建HA

    hadoop3.0-HA搭建,3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态:sestatus 临时关闭: setenforce 0 永久关闭:vi /...

    Hadoop-2.0-NameNode-HA和Federation实践1

    二、为什么需要HA和Federation单点故障在Hadoop 2.0之前,也有若干技术试图解决单点故障的问题,我们在这里做个简短的总结Secondary Na

Global site tag (gtag.js) - Google Analytics