在本章中,我们将来重温一下和Hadoop的作业提交和执行流程。
看下图,我们来比较详细的学习一下该流程:
从上图中可以看出,分为4个阶段:
Job作业提交
1、 编写MapReduce job程序,通过命令行向Hadoop提交并开始执行作业:
引用
# hadoop fs -put xxx.jar /path //或者使用hadoop fs -copyFromLocal xxx.jar /path 向copy文件
# chown -R hadoop xxx.jar
# chgrp -R hadoop xxx.jar
# hadoop jar xxx.jar package.ClassName input_path output_path
客户端实际上是通过JobClient的submitJobInternal提交作业的。
2、本次运行,NameNode节点会首先检查用户权限和提交参数是否正确,通过后生成一个job,于是JobClient向JobTracker申请一个JobID用于标识这个job;
3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中,这些资源包括Jar包、配置文件、InputSplit元数据信息等;
4、JobClient通过调用submitJob()向JobTracker告知Job也准备好,提交这个Job;
Job初始化
5、JobTracker初始化Job,当JobTracker接收到客户端submitJob()方法,会将该作业提交到内部的作业调度队列,并做相关的初始化操作,如生成JobInProgress对象和Map或Reduce Task列表等;
6、JobTracker通过JobID从HDFS获取这个Job的Split等信息;
任务分配(Task Assignment)
7、TaskTrackers节点周期性的通过心跳Heartbeat向JobTracker节点汇报自己的相关信息,如“自己”还活着、可以接受新任务等,然后然后JobTracker或根据一定的作业调度算法给TaskTrackers节点分配一个Map Task和Reduce Task任务;
任务执行(Task Execution)
8、TaskTracker节点在获得JobTracker指派给的任务后,会到中获取当前任务相关的资源;
9、TaskTracker启动会给分配给自己的任务启动一个JVM;
10、最后在新启动的JVM中开始执行Mapper或Reducer Task任务。
- 大小: 43.2 KB
分享到:
相关推荐
最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》适合Hadoop的二次开发人员、应用...
文档仅包含 简单书签 ...最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》适合Hadoop的
Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理Hadoop技术内幕:深入解析MapReduce架构设计i与...
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理 文字版Hadoop技术内幕:深入解析MapReduce架构设计与实现原理 文字版Hadoop技术内幕:深入解析MapReduce架构设计与实现原理 文字版
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理.pdf
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理(扫描版)Hadoop技术内幕:深入解析MapReduce架构设计与实现原理(扫描版)Hadoop技术内幕:深入解析MapReduce架构设计与实现原理(扫描版)
Hadoop技术内幕 深入理解MapReduce架构设计与实现原理 高清完整中文版PDF下载
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理
《Hadoop技术内幕:深入解析MapReduce架构设计i与实现原理》参考资料
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理.part2
Hadoop技术内幕:深入解析MapReduce架构设计与实现原理.part1