`

yarn 启动时,nodemanager 成功,但是resourcemanager失败解决

 
阅读更多
问题的描述; yarn 启动时,nodemanager 成功,但是resourcemanager失败.



查看日记的出错信息:
2015-10-11 21:50:20,201 INFO org.apache.hadoop.service.AbstractService: Service org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService failed in state STARTED; cause: org.apache
.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.
apache.org/hadoop/BindException
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see:  ht
tp://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService.serviceStart(ResourceTrackerService.java:159)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMActiveServices.serviceStart(ResourceManager.java:503)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startActiveServices(ResourceManager.java:898)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:938)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$1.run(ResourceManager.java:935)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.transitionToActive(ResourceManager.java:935)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:979)
at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1104)
Caused by: java.net.BindException: Problem binding to [h3:8031] java.net.BindException: Cannot assign requested address; For more details see:  http://wiki.apache.org/hadoop/BindException
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719)
at org.apache.hadoop.ipc.Server.bind(Server.java:419)
at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:561)
at org.apache.hadoop.ipc.Server.<init>(Server.java:2166)
at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505)
at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480)
at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742)
at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169)




分析了下,地址绑定失败,大概的意思是指8301的端口给占用了。
google下,说是Namenode和ResourceManger如果不是同一台机器,不能在NameNode上启动 yarn,应该在ResouceManager所在的机器上启动yarn。现在问题解决了。

分享到:
评论

相关推荐

    Hadoop ResourceManager API

    Hadoop ResourceManager API

    Hadoop大数据平台构建、YARN配置、启动与验证教学课件.pptx

    YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录(slave1为主节点) 任务四 分发YARN与MapReduce配置文件 任务五 启动...

    大数据技术课程设计.docx

    NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 (1)核心配置文件 配置core-site.xml (2)HDFS配置文件 配置 hadoop-env.sh 配置 hadoop-site.xml (3)YARN配置文件 配置 yarn-env.sh 配置 ...

    大数据技术与应用期末大作业

    NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 (1)核心配置文件 配置core-site.xml (2)HDFS配置文件 配置 hadoop-env.sh 配置 hadoop-site.xml (3)YARN配置文件 配置 yarn-env.sh 配置 ...

    工程实践III(大数据应用开发实践)大作业模板 - 副本.docx

    NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 (1)核心配置文件 配置core-site.xml (2)HDFS配置文件 配置 hadoop-env.sh 配置 hadoop-site.xml (3)YARN配置文件 配置 yarn-env.sh 配置 ...

    大数据技术大实验.docx

    NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 (1)核心配置文件 配置core-site.xml (2)HDFS配置文件 配置 hadoop-env.sh 配置 hadoop-site.xml (3)YARN配置文件 配置 yarn-env.sh 配置 ...

    自动开启和关闭所有hdfs与yarn组件的脚本

    通过测试,hdfs与yarn组件启动后有以下进程: node1 jps:4个进程 NameNode、JournalNode、DFSZKFailoverController、Jps node2 jps:7个进程 DFSZKFailoverController、NodeManager、JournalNode、QuorumPeerMain、...

    apache hadoop 2.7.2.chm

    NodeManager Restart DockerContainerExecutor Using CGroups Secure Containers Registry YARN REST APIs Introduction Resource Manager Node Manager Timeline Server Hadoop Compatible File Systems ...

    1-1-HDFS+and+YARN.pdf

    Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上...(2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (3)MapReduce:它其实是一个应用程序开发包。

    Hadoop技术内幕:深入解析YARN架构设计与实现原理

    全书共四部分13 章:第一部分(第1~2 章...第二部分(第3~7 章)结合源代码详细剖析和讲解了YARN 的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节,详细讲解了YARN 的应用程序设计方法...

    08Hadoop架构的Yarn & MapReduce集群配置,时间同步,安全模式,动态增删节点——好程序

    yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address hadoop0001:8032 yarn.resourcemanager.scheduler.address hadoop0001:8030 yarn.resourcemanager.resource-tracker.

    vagrant-jilla-hadoop:流浪者设置来启动vm hadoop集群

    YARN ResourceManager + JobHistoryServer + ProxyServer + Spark从属node3:HDFS数据节点+ YARN NodeManager + Spark从站node4:HDFS数据节点+ YARN NodeManager + Spark从属node5:HDFS数据节点+ YARN NodeManager...

    Hadoop集群安装

    Hadoop集群安装   集群规划   服务器hadoop101 服务器hadoop102 ... Yarn ... NodeManager ... Resourcemanager NodeManager NodeManager     1. 虚拟机

    yarn入门——yarn的架构及作业调度

    mapReduce存在问题:JobTracker单点故障JobTracker承受的访问压力大,影响系统扩展不支持...它由下面几大构成组件:ResourceManager:负责为集群中的所有应用程序分配资源每个节点代理的NodeManager每个应用对应一

    vagrant-hadoop-spark:使用 Hadoop 和 Spark 启动集群虚拟机的 Vagrant 项目

    node2 : YARN ResourceManager + JobHistoryServer + ProxyServer node3 : HDFS DataNode + YARN NodeManager + Spark Slave node4 : HDFS DataNode + YARN NodeManager + Spark Slave 入门 。 运行vagrant box...

    vagrant-hadoop-2.4.1-spark-1.0.1:Vagrant项目使用Hadoop v2.4.1和Spark v1.0.1启动集群虚拟机

    node2:YARN ResourceManager + JobHistoryServer + ProxyServer node3:HDFS数据节点+ YARN NodeManager + Spark从站 node4:HDFS数据节点+ YARN NodeManager + Spark从站 入门 。 运行vagrant box add centos...

    大数据底层原理和基础概念面试题30道

    1 、Hadoop是什么?它能做什么? 2 、Hadoop和MapReduce的关系是什么? 3 、Hadoop中的HDFS是什么?它有哪些优点? 4 、HDFS的组成结构是...18、YARN中的ResourceManager和NodeManager的作用分别是什么? 。。。。。。

    hadoop-2.7.2.rar

    hadoop-2.7.2安装包,解压至/opt/module文件夹 启动HDFS只需要敲入命令行:sbin/hadoop-daemon.sh start|stop namenode|datanode|secondarynamenode ...sbin/yarn-daemon.sh start|stop resourcemanager|nodemanager

    hadoop-2.4.1安装软件包以及教程jdk.zip

    3.5验证是否启动成功 使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://192.168.1.101:50070 (HDFS管理界面) ...

    Hadoop(4).md

    Yarn作为一个资源调度平台,有一个全局的管理者叫做ResourceManager,ResourceManager负责对集群的整体计算及资源做统筹规划,有各个节点的管理者叫做NodeManager

Global site tag (gtag.js) - Google Analytics