6、接着上篇文章中的最后一步:ResourceManager服务端执行ClientRMService.submitApplication(),接着开始调用RMAppManager.submitApplication()进而来触发RMAppEvent事件,成为job调度运行事件触发的源头;
(本系列文章主要分析job调度运行流程的主要事件流程,像其它的日志读写事件流程、container监控流程等并没有包括在内)
7、接着触发了RMAppImpl.handle(),这其中注册了多种状态转换机制,负责RMAppState的各种状态转换;
8、ResourceManager服务启动初始化时会启动一个线程,循环处理container的调度分配,具体过程如下:
ResourceManager.serviceInit->ResourceManager.RMActiveServices.serviceInit
->ResourceManager.createScheduler->ResourceScheduler(默认为CapacityScheduler).reinitialize()
->CapacityScheduler.AsyncScheduleThread.start()
然后循环处理各个nodemanager上面的containers资源分配
CapacityScheduler.schedule()->CapacityScheduler.allocateContainersToNode()
->LeefQueue.assignContainers()->LeefQueue.assignContainersOnNode()
->LeefQueue.assignContainer()->FiCaSchedulerApp.allocate()->RMContainerImpl.handle(RMContainerEventType.START)
更新状态RMContainerState.NEW->RMContainerState.ALLOCATED
9、接着后面会触发RMAppAttemptImpl.handle(),这其中和RMAppImpl类似,同样注册了多种状态转换机制,负责RMAppAttemptState的各种状态转换;
10、接着后面会触发RMContainerImpl.handle(),同样注册了多种状态转换机制,负责RMContainerState的各种状态转换,这里会触发RMAppAttemptEventType.CONTAINER_ALLOCATED事件,进而开始触发ApplicationMasterLaunch相关事件,至此完成了YARN中的ResourceManager端的job调度流程;
整个流程如下图所示:
相关推荐
赠送jar包:hadoop-yarn-server-resourcemanager-2.6.0.jar; 赠送原API文档:hadoop-yarn-server-resourcemanager-2.6.0-javadoc.jar; 赠送源代码:hadoop-yarn-server-resourcemanager-2.6.0-sources.jar; 赠送...
hadoop2.7.4安装包补丁包,解决yarn定时调度启动问题!!
hadoop-cmf-yarn-RESOURCEMANAGER-cdp-master1-53.log (2).out
hadoop-cmf-yarn-RESOURCEMANAGER-hbcdhcoll65.log.out
java运行依赖jar包
java运行依赖jar包
elasticsearch-dataformat.zip,此插件在ElasticSearch上提供多个response formats.excel/csv/bulkjson下载。
java运行依赖jar包
注:下文中的 *** 代表文件名中的组件名称。 # 包含: 中文-英文对照文档:【***-javadoc-API文档-中文(简体)... (2)有时,一套Java组件会有多个jar,所以在下载前,请仔细阅读本篇描述,以确保这就是你需要的文件;
hadoop3.1.1基于hdp3.1.5版本的ReentrantReadWriteLock还原成hadoop2.x版本的synchronized锁
云资源管理器-ResourceManager_20140729.pdf
资源来自pypi官网。 资源全名:alibabacloud_resourcemanager20200331-2.0.1.tar.gz
适用于.NET的Azure SignalR Service SDK可帮助您利用可伸缩的云计算资源,利用实时消息传递功能即时构建Azure应用程序。 该存储库包含.NET SDK的开源子集。 建立状态 Nuget软件包 Azure SignalR Service SDK从...
Yarn ResourceManager HA配置,Yarn ResourceManager HA配置
Hadoop ResourceManager API
SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 在 Hadoop 集群主节点上搭建 MapReduce 开发环境 Eclipse。 3. 查看 Hadoop 自带的 MR-App 单词计数源代码 WordCount.java,在 Eclipse ...
ResourceManager的帮助类
利用Hadoop YARN ResourceManager 未授权访问getshell工具以及WORD说明
Zabbix监控Hadoop集群时用到的模板,可配合本人写的文章进行部署。
ClistCtrl CTreeCtrl打造的资源管理器,界面学习