1、job提交后，调用JobSubmitter的submitJobInternal方法提交job相关文件到hdfs
2、nodemanager启动时会初始化本地目录，并清除本地yarn.nodemanager.local-dirs下的filecache/usercache/nmprivate目录下的资源文件
3、nodemanager的container资源初始化：ResourceLocalizationService服务中LocalizerRunner分别会去下载job相关文件
4、container运行完成时会触发JobHistoryEvent事件，JobHistoryEventHandler接收事件就向hdfs写对应job的log
5、Historyserver服务会定时（默认间隔1天）删除mapreduce.jobhistory.done-dir目录中过期（默认七天过期）的.jhist/_conf.xml文件
6、Historyserver服务会定时（默认间隔3分钟）从hdfs的mapreduce.jobhistory.intermediate-done-di目录将.jhist/_conf.xml移动到mapreduce.jobhistory.done-dir目录，同时删除/.summary文件
应用优化点：Historyserver上面会有几个定时任务用于log及job相关文件的搬迁，这里面可以方便定制自己的定时任务，比如成功job日志和失败job日志删除时间不一样，以及增加mapreduce jar包缓存功能后，可以定时删除hdfs上的文件。
对应流程如下图所示：
相关推荐
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
赠送jar包：hadoop-yarn-client-2.6.5.jar； 赠送原API文档：hadoop-yarn-client-2.6.5-javadoc.jar； 赠送源代码：hadoop-yarn-client-2.6.5-sources.jar； 赠送Maven依赖信息文件：hadoop-yarn-client-2.6.5.pom；...
赠送jar包：hadoop-yarn-common-2.6.5.jar 赠送原API文档：hadoop-yarn-common-2.6.5-javadoc.jar 赠送源代码：hadoop-yarn-common-2.6.5-sources.jar 包含翻译后的API文档：hadoop-yarn-common-2.6.5-javadoc-...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包 hadoop-eclipse-plugin-2.7.3和2.7.7的jar包
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
赠送jar包：hadoop-common-2.7.3.jar； 赠送原API文档：hadoop-common-2.7.3-javadoc.jar； 赠送源代码：hadoop-common-2.7.3-sources.jar； 赠送Maven依赖信息文件：hadoop-common-2.7.3.pom； 包含翻译后的API文档...
该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz，亲测可用~~请在下载完该包后解压，将hadoop-1.2.1放置于Eclipse\plugins目录下，然后重启eclipse，将hadoop-1.2.1.tar.gz放到D:\...
hadoop-annotations-2.10.0.jar hadoop-auth-2.10.0.jar hadoop-common-2.10.0-tests.jar hadoop-common-2.10.0.jar hadoop-nfs-2.10.0.jar hamcrest-core-1.3.jar htrace-core4-4.1.0-incubating.jar httpclient-...
hadoop-eclipse-plugin-2.7.4.jar和hadoop-eclipse-plugin-2.7.3.jar还有hadoop-eclipse-plugin-2.6.0.jar的插件都在这打包了，都可以用。
hadoop-common-2.4.1.jar，是学习基础的Hadoop必须的包
flink-shaded-hadoop-3下载
hadoop-eclipse-plugin-3.1.1, hadoop eclipse 插件 3.1.1
赠送jar包：hadoop-yarn-server-resourcemanager-2.6.0.jar； 赠送原API文档：hadoop-yarn-server-resourcemanager-2.6.0-javadoc.jar； 赠送源代码：hadoop-yarn-server-resourcemanager-2.6.0-sources.jar； 赠送...
赠送jar包：hadoop-mapreduce-client-common-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-common-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-common-2.6.5-sources.jar； 赠送Maven依赖信息...
Apache Hadoop （hadoop-3.3.4.tar.gz）项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢，因此将hadoop-3.3.4 版本放在这里，欢迎大家来下载使用！ Hadoop 架构是一个开源的、基于 Java 的编程...
找不到与hadoop-2.9.2版本对应的插件，手动生成的hadoop-eclipse-plugin-2.9.2版本，
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
赠送jar包：hadoop-auth-2.5.1.jar； 赠送原API文档：hadoop-auth-2.5.1-javadoc.jar； 赠送源代码：hadoop-auth-2.5.1-sources.jar； 赠送Maven依赖信息文件：hadoop-auth-2.5.1.pom； 包含翻译后的API文档：hadoop...
hadoop2 lzo 文件 ，编译好的64位 hadoop-lzo-0.4.20.jar 文件 ，在mac 系统下编译的，用法：解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下，把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...