搭建yarn环境后,执行 hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar wordcount /host1 /out1
执行一直停留在Running job:
打开yarn web 页面http://crxy1:8088/cluster
app的作业state停留在Accepted上
点击ID列的作业链接进去
英文翻译大概如下:
stucks at accepted state
Yarn job stuck with no application master being assigned
MapReduce jobs get stuck in Accepted state
刚开始想到可能是内存问题,英文google查的资料提到的解决方法和设置资源的内存有关系
后来把节点的虚拟机内存从512M到1G还是不能解决问题
后来,想到下一步骤应该是作业提交后RM应与NN之间关于分配资源执行的事情了,于是查看了下nodeManager的日志
tail -f yarn-root-nodemanager-crxy6.log
提示:
Retrying connect to server: 0.0.0.0/0.0.0.0:8031
查了下这是因为node节点上没有配置RM的原因,
把crxy1 yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>crxy1</value>
</property>
复制到nodeManager上,重启集群,执行hadoop jar,的mr任务执行成功!!!
相关推荐
基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf基于MapReduce作业拆分组合机制的并行ETL组件实现.pdf...
mrjob:在 Hadoop 或Amazon Web Services上运行MapReduce 作业
用于多个MapReduce作业的任务调度算法.pdf
Hadoop MapReduce作业卡死问题的解决方法.docx
appengine-mapreduce, 在 App Engine上,运行MapReduce作业的库 应用Mapreduce库 官方网站:https://github.com/GoogleCloudPlatform/appengine-mapreduce查看站点最新状态,最新版本,启动&用户指南和其他文档。...
面向云计算的期限约束的MapReduce作业调度方法.pdf
mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce mapreduce ...
多MapReduce作业协同下的大数据挖掘类算法资源效率优化.pdf
基本概念 MapReduce采用了Master/Slave架构,包括一个Master和若干个Slave,Master上运行JobTracker,Slave运行TaskTracker ...3.将运行作业所需要的资源文件复制到HDFS上,包括MapReduce程序打包的JAR文件、
行业分类-设备装置-一种基于Hadoop云计算平台的MapReduce作业流式调度方法及调度系统.zip
4 分别在自编 MapReduce 程序 WordCount 运行过程中和运行结束后查看 MapReduce Web 界面。 5. 分别在自编 MapReduce 程序 WordCount 运行过程中和运行结束后练习 MapReduce Shell 常用命令。 。。
MapReduce集群多用户作业调度方法的研究与实现
MapReduce发明人关于MapReduce的介绍
四川大学IT企业实训,拓思爱诺大数据第二次作业,MapReduce编程,包括Hadoop wordcount程序,及flowcount流量统计程序,包括重写排序及分区函数
首先我们来讨论一下一个作业是如何在Yarn中运行的。 1、MapReduce2中的作业提交是使用与MapReduce1相同的用户API。 2、从资源管理器获取新的作业ID,在YARN命名法中它是一个应用程序ID。 3 、作业客户端检查作业的...
【MapReduce篇07】MapReduce之数据清洗ETL1
本文介绍了用Java编写并运行第一个mapreduce作业的步骤及遇到的问题和解决方案。
单个MapReduce作业中基于Hadoop并发算法:MRPack是MapReduce实现的一种变体,其中多个相关算法可以在单个MapReduce作业中同时执行。 在MRPack中,所有算法都在Map and Reduce编程模型中实现,然后所有这些算法都在...
Mapreduce实验报告 前言和简介 MapReduce是Google提出的一种编程模型,在这个模型的支持下可以实现大规模并行化计 算。在Mapreduce框架下一个计算机群通过统一的任务调度将一个巨型任务分成许多部分 ,分别解决然后...