YARN角色
1.RM ResourceManager
a)调度器:分配container给应用程序
b)应用程序管理器:管理应用程序(程序提交,与调度器交互启动AM,监控AM等)
2.ApplicationMaster:管理每个应用程序,与RM交互要container,与NM交互运行task
3.NodeManager:运行应用程序AM的task,与RM交互汇报Container资源情况
4.Container:封装多维度资源
YARN通信
从以上角色中可以看出有着多个通信:
Client-RS:向RM提交应用程序
Admin-RS:向RM更新配置文件
AM-RM:要求RM启动,停机自己,申请资源
AM-NM:要求NM启动,停止Container中的任务,获取Container信息
NM-RM:向RM注册Container,定时汇报Container
YARN工作流程
1.Client向RM提交应用程序
2.RM分配一个Container,返回NM命令,在此Container中启动AM
3.AM向RM注册,向RM申请资源,为各个任务(任务与AM的关系)申请资源,并监控各个任务
4.AM向RM申请资源
5.AM向NM通知启动任务
6.NM打jar包等准备工作,写到脚本中,启动任务
7.各个任务RPC到AM汇报状态
8.AM的各个任务重复执行4-7,AM向RM注销自己
相关推荐
要内容 Hadoop YARN产生背景 1 Hadoop YARN基本架构 2 运行在YARN上的计算框架 3 YARN发展趋势 4 Hadoop YARN产生背景
这是由hadoop专家董西城制作的PPT的PDF版本,介绍了hadoop2.0新加YARN和使用方法。
Hadoop技术-YARN的基本架构.pptx
Hadoop技术YARN的基本架构共9页.pdf.zip
资源名称:Hadoop技术内幕深入解析YARN架构...从源代码角度深入分析YARN的设计理念与基本架构、各个组件的实现原理,以及各种计算框架的实现细节。全书共四 资源太大,传百度网盘了,链接在附件中,有需要的同学自取。
全书共四部分13 章:第一部分(第1~2 章)主要介绍了如何获取、阅读和调试Hadoop 的源代码,以及YARN 的设计思想、基本架构和工作流程;第二部分(第3~7 章)结合源代码详细剖析和讲解了YARN 的第三方开源库、底层...
■ YARN 的设计目的和基本架构 ■ MapReduce 概念 ■ Apache Spark 概念 ■ YARN 如何分配集群资源 ■ YARN 如何处理故障 ■ 如何查看和管理YARN 应用程序 ■ 如何访问YARN 应用程序日志
5.2 Yarn 基本架构 5.3 Yarn 工作机制 5.4 作业提交全过程 5.5 资源调度器
Hadoop技术内幕:深入解析YARN架构设计与实现原理.从应用的角度讲解YARN的基本方法
mapReduce存在问题:JobTracker单点故障JobTracker承受的访问压力大,影响系统扩展不支持MapReduce之外的计算框架,比如Storm,spark,flink是一种新的Hadoop资源管理器,它是一个通用资源管理系统,YARN的基本思想是...
本ppt主要讲解yarn的基本架构,工作流程,基础库以及程序设计方法 容错等
3.1 MapReduce和Yarn基本介绍-MapReduce和Yarn功能与架构 3.1 MapReduce和Yar.zip 3.2 YARN的功能与架构 3.3 YARN的资源管理和特性介绍 4.1 Spark概述及核心Spark Core 4.2 Spark体系结构梳理 5.1 Hbase的功能和...
3.1.1 MapReduce和Yarn基本介绍-MapReduce和Yarn功能与架构 3.2.1 YARN的功能与架构 3.3.1 YARN的资源管理和特性介绍 4.1.1 Spark概述及核心Spark Core# 4.2.1 Spark体系结构梳理 5.1.1 Hbase的功能和架构 ...
压缩文件中包含了Hadoop生态系统、体系架构及特点,三大基本组件HDFS,MapReduce,YARN的学习笔记,文件为Markdown格式,进行了详细功能介绍说明,可以帮助大家学习hadoop的三大组件或者作为一份详细资料备份,帮助...
3.1_MapReduce和Yarn基本介绍-MapReduce和Yarn功能与架构 3.2_Yarn的资源管理和任务调度-增强特性 4.1_Spark概述-Spark原理与架构 4.2_Spark原理与架构-Spark在FusionInsight中的集成情况 5.1_HBase基本介绍 5.2_...
3.YARN应用场景、基本架构与资源调度 4.Map Reduce 2.0 基本原理与架构 5.Map Reduce 2.0 编程实践 6.HBase 应用场景、原理与架构 7.HBase编程实践 8.HBase 案例分析 9.Zookeeper部署及典型应用 10.Hadoop数据入库...
3.1_MapReduce和Yarn基本介绍-MapReduce和Yarn功能与架构 3.2_Yarn的资源管理和任务调度-增强特性 第四章 Spark2x基于内存的分布式计算 4.1_Spark概述-Spark原理与架构 4.2_Spark原理与架构-Spark在FusionInsight...
(1) HDFS 2.0应用场景、原理、基本架构及使用方法.pdf (2) HDFS 2.0实战—Shell命令使用.pdf (3) Understanding_Hadoop_Clusters_and_the_Network.pdf 《 HDFS应用场景、部署、原理与基本架构》作业.pdf 《 YARN应用...
NodeJS中的基本结构项目Nodejs中项目的基本结构。技术NodeJS 14.16.xx NPM 7.6.xx 纱线1.22.x发展安装yarn install启动服务器yarn startHttp代码200 Request -好的测验开玩笑yarn test或者yarn --watchAll文献资料...