介绍
本文档给出NodeManager(NM) restart的概览,该feature允许NodeManager在不丢失active container的情况下重启。从更高层面看,NM在处理container-management 请求时将必要的状态信息保存至本地state-store。当NM重启时,它首先为各个子系统加载state信息,之后让这些子系统利用加载的state重新执行恢复。
启用NM Restart
Step 1. 启用NM Restart功能,设置conf/yarn-site.xml中的以下属性为true。
Property | Value |
yarn.nodemanager.recovery.enabled | true, (默认值为false) |
Step 2.配置NodeManager可以保存它的run state的本地文件系统目录。
Property | Description |
yarn.nodemanager.recovery.dir | 当recovery启用之后,node manager可以保存state信息的本地文件系统目录。默认值为$hadoop.tmp.dir/yarn-nm-recovery |
Step 3. 为NodeManager配置一个有效的RPC地址
Property | Description |
yarn.nodemanager.address | 临时性端口不能用于NodeManager的RPC server,因为它会导致NM重启前后使用不同的端口。这会使得之前运行的与NM通信的client断开。明确设置yarn.nodemanager.address 为包含端口号的地址是启用NM Restart的前提条件。 |
Step 4. Auxiliary services.
- 在YARN集群中,NodeManager可以配置为运行auxiliary services. 完整的NM Restart功能依赖任何auxiliary service都要配置为支持recovery。这通常包括:(1)避免使用临时性端口,以便之前运行中的client(在这个场景下,通常为container)在重启之后不会中断(2)当NodeManager重启和重新初始化auxiliary service时,确保auxiliary service自身支持通过加载之前的state可以恢复的能力,
- 对于上述auxiliary service的一个简单样例就是MapReduce(MR)的‘ShuffleHandler’。ShuffleHandler已经满足上述两个必要条件,所以用户/admin 不需要做任何事情来支持NM Restart. (1)配置项mapreduce.shuffle.port 控制NodeManager host上的ShuffleHandler绑定的端口,它默认为一个非临时性端口。(2)ShuffleHandler service也已经支持NM重启之后恢复之前的state。
相关推荐
java运行依赖jar包
Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2 Windows10 环境下编译的Hadoop2.7.2
java运行依赖jar包
标签:apache、hadoop、api、yarn、jar包、java、API文档、中文版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准...
hadoop2.7.2 linux版本,需要在window上解压缩
Hadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gzHadoop2.7.2LIUNX集群(2)所需JDK1.8.gz
Hadoop2.7.2 centos7 64位编译后的库文件
标签:apache、client、hadoop、yarn、jar包、java、中文文档; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译...
hadoop2.7.2安装依赖文件,用于在window下调试hadoop! hadoop2.7.2安装依赖文件,用于在window下调试hadoop hadoop2.7.2安装依赖文件,用于在window下调试hadoop
hadoop2.7.2版本对应的winutils和hadoop.dll,maven也有,不用可以删掉
hadoop2.7.2HA集群安装
Hadoop2.7.2伪分布部署 从JDK配置到SSH面密码登陆,Hadoop的详细配置
hadoop 2.7.2 的底层源码包。Welcome to Apache™ Hadoop®!
hadoop2.7.2在windows环境中相关依赖文件hadoop.dll和winutils.exe
Hadoop 资源 适合大数据开发
我的Java安装在D:\Java,hadoop安装在D:\env\hadoop-2.7.2,材料中的hadoop-2.7.2-win10是配置前的版本,材料中的hadoopbin是工具类,需要替换原文档中的D:\env\hadoop-2.7.2\bin,材料中的hadoop-2.7.2配置完成后是配置...
windows7中安装hadoop2.7.2时所需的hadoop.dll和winutils.exe
2021-05-11 16:51:52,925 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Failed to initialize container ...
windows环境下运行hadoop的mapreduce程序需要的hadoop.dll winutils.exe等文件,使用方法见解压文件,该文件对应的hadoop版本是 2.7.2 , 请注意版本一致
hadoop2.7.2以下_winutils_exe和hadoop_dll,内含github地址