`
evans_he
  • 浏览: 11963 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

LocalJobRunner

阅读更多

       hadoop作业分本地模式和分布式模式两种执行模式,JobClient初始化时会读取配置项mapred.job.tracker(默认为local),如果该配置项的值为local,则hadoop采本地模式执行作业,否则采用分布式模式执行。本地模式使用LocalJobRuner提交并执行作业。对LocalJobRunner实例调用submitJob( )方法会创建Job(LocalJobRunner的内部类)实例,该实例完成作业的执行。
       从图中可以看到,LocalJobRunner的内部类Job就是一个线程,其实本地模式的MapReduce作业就由该线程完成。Job的内部类MapTaskRunnable实现了Runnable接口,代表了Map任务,每个分片都对应一个MapTaskRunnable实例,Job采用java并发包提供的ExecutorService线程池来执行MapTaskRunnable实例,线程池的大小为分片数量和mapreduce.local.map.tasks.maximum配置项值中较小者,至少为1。线程池创建好之后就将MapTaskRunnable实例都提交到其中去执行,然后线程池停止接受新任务等待线程执行完毕。线程执行完毕后会逐个检查MapTaskRunnable实例有没有异常出现,如果有则认为map执行失败,直接抛出异常终止执行,如果都没有异常则认为map都执行成功,接下来继续执行reduce。本地模式值允许0个或者1个reduce任务。ReduceTask代表一个reduce任务,它从map的输出文件中读取数据进行reduce操作,将结果写到指定的目录中。reduce任务执行完之后,会进行一些清理操作,删除map的中间输出,删除作业提交目录和其中的作业配置文件、删除作业的本地拷贝文件等。

本地执行模式:

 源代码就不再贴了,请参考LocalJobRunner。

  • 大小: 101.7 KB
  • 大小: 24.3 KB
0
0
分享到:
评论

相关推荐

    Hadoop-mr-part1

    Hadoop的mapreduce基础知识1.后续上传第二部分。培训笔记。

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    技术点80 用LocalJobRunner 进行重量级的作业测试 13.1.4 集成和QA 测试 13.2 调试用户空间的问题 13.2.1 访问任务日志 技术点81 检查任务日志 13.2.2 调试不可预期的输入 技术点82 定位input split ...

    Hadoop实战(第2版)

    技术点79 MapReduce 函数、作业和管道的单元测试13.1.3 LocalJobRunner技术点80 用LocalJobRunner 进行重量级的作业测试13.1.4 集成和QA 测试13.2 调试用户空间的问题13.2.1 访问任务日志技术点81 ...

    数据预处理之基于统计的异常值检测

    matlab+数据预处理+统计+异常值+检测+适用维度较小的数据 基于统计的异常值检测是一种利用统计学原理和技术来识别数据集中异常值或离群点的方法。这种方法通过考察数据集的统计特性来发现与其他样本显著不同的观测值。我们可以利用几种常见的方法,包括3σ(sigma)准则、Z分数(Z-score)和Boxplot(箱线图)。

    2021-2022中国中东欧智慧教育学术会议报告集-25页(1).pdf

    2021-2022中国中东欧智慧教育学术会议报告集-25页(1)

    基于形态学的权重自适应图像去噪.zip

    MATLAB是MathWorks公司出品的商业数学软件,用于数据分析、无线通信、深度学习、图像处理与计算机视觉、信号处理、量化金融与风险管理、机器人,控制系统等领域。 【主页资源】 遗传算法、免疫算法、退火算法、粒子群算法、鱼群算法、蚁群算法和神经网络算法等常用智能算法的MATLAB实现,包含TSP、LQR控制器、结合量子算法、多目标优化、粒子群等matlab程序。 MATLAB计算机视觉与深度学习实战项目:直方图优化去雾技术、基于形态学的权重自适应图像去噪、多尺度形态学提取眼前节组织、基于分水岭算法的肺癌分割诊断、基于harris 的角点检测(可以直接用matlab自带的函数)、基于K均值的据类算法分割(算法时间有点久)、 区域生长算法进行肝部肿瘤分割(原始分割精度不高)、matlab编写的图像处理相关算法代码及算法原理等等。

    基于STM32微控制器的数据采集系统的固件

    目前实现的功能: 示波器 伏特计 逻辑分析仪(实验性) PWM测量 PWM输出 基于DDS(直接数字合成)的发生器 功能的选择取决于所选的目标。在小型器件上,由于外设约束或引脚排列有限,仅实现了功能子集。 固件还可以在不同的配置之间切换。例如,和 .Voltmeter + PWMOscilloscope + PWM 固件通过虚拟 COM 端口(USB CDC 类)直接或使用 UART 转 USB 桥接器与 PC 应用程序通信。 如何运行固件 您可以在发布部分下载已编译的二进制文件,并通过 ST-Link(或任何其他调试器)或通过 USB 设备固件更新 (DFU) 下载

    An open-source HDL register code generator fast enough to run in

    vhdl

    B2141 确定进制.cpp

    B2141 确定进制

    bootstrap模板-moban6820.rar

    bootstrap模板

    岗位管理体系5大要素全解读.pdf

    岗位管理体系5大要素全解读.pdf

    php+mysql社区交流系统(系统)

    随着计算机网络的不断发展,网页逐渐融入人们的生活。快速及时的新闻浏览,五彩缤纷的网上信息,使网络与人们的生活息息相关,于是世界上又出现了第三媒体——Internet。它打破了地域限制,真正使信息得以共享,改变了人们的工作和生活方式。官方网页是企业和个人的宣传自己的重要手段,各大公司和个人主页包括演艺圈艺人,作家,大学生等,纷纷创建自己的主页和Web站点,向全世界宣告自己的存在,展示自己的产品、服务及个人爱好等等。我的系统由:会员登录、会员注册、论坛等之类的组合而成的。

    【技巧】人才盘点体系构建最佳实践.docx

    【技巧】人才盘点体系构建最佳实践.docx

    9471 - Uruk-hai Army.mpd

    9471 - Uruk-hai Army.mpd

    编译原理大作业:类似C语言的编译器设计与实现-支持加减乘除转换 print 输出转换 if 条件转换 赋值语句转换

    编译原理 大作业 基本功能:类 C 语言编译为汇编语言 支持语法: 1. 加减乘除转换 2. print 3. 输出转换 4. if 条件转换 5. 赋值语句转换 具体实现原理 源文件——词法分析——语法分析——三元式生成——目标代码生成 词法分析——预处理(识别)——分类——得到结果 语法分析——基本转换——相关语法分析 主要模块 词法分析模块-词法分析.cpp 语法分析模块-语法分析.cpp 使用模块-源.cpp 函数声明-header.h

    10240 - UCS Red Five X-wing Starfighter.mpd

    10240 - UCS Red Five X-wing Starfighter.mpd

    7307 - Duel in the Air.mpd

    7307 - Duel in the Air.mpd

    B2111 基因相关性.exe

    B2111 基因相关性

    6844 - Seismologic Vehicle.mpd

    6844 - Seismologic Vehicle.mpd

    AUTOSAR-SRS-SecureOnboardCommunication.pdf

    AUTOSAR_SRS_SecureOnboardCommunication.pdf

Global site tag (gtag.js) - Google Analytics