`
dajuezhao
  • 浏览: 59698 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

无法启动Datanode的问题

阅读更多

一、背景

早上由于误删namenode上的hadoop文件夹,在主节点上重新安装hadoop之后,发现有2个datanode无法启动,经过排查,解决了这个问题,记下。

二、现象及解决办法

1、2个节点的Tasktracker启动了,但datanode死活起不来。

2、使用sh hadoop-daemon.sh命令单独也无法启动。

3、错误信息如下:
2010-08-10 10:51:23,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
2008-07-23 22:04:06,697 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 9000, call register(DatanodeRegistration(s132:50010, storageID=DS-450792627-192.168.3.132-50010-1280748240648, infoPort=50075, ipcPort=50020)) from 192.168.3.132:33610: error: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.verifyNodeRegistration(FSNamesystem.java:3887)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2041)
at org.apache.hadoop.hdfs.server.namenode.NameNode.register(NameNode.java:687)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)

4、查看配置文件,core-site.xml,发现多了一项配置:

dfs.hosts.exclude
excludes

5、上网找资料,发现这个作用是通知集群需要停掉的机器名称。

首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下,内容如下:

excludes:s132,s133

6、删掉,重启集群,OK。

三、总结

1、通过这个问题,衍生出了如何使datanode启动和停止。

2、有个问题没明白,这个配置想是什么时候加进去的。

3、可以参看http://coderplay.iteye.com/blog/290767这个内容。

分享到:
评论

相关推荐

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    Hadoop datanode启动失败:Hadoop安装目录权限的问题

    Hadoop datanode重新加载失败无法启动解决.docx

    Hadoop datanode重新加载失败无法启动解决.docx

    启动Hadoop后 没有DataNode进程 的解决方法

    启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!

    【大数据】Hadoop常用启动命令.pdf

    daemons.sh start namenode 单独启动NameNode守护进程 hadoop-daemons.sh stop namenode 单独停⽌NameNode守护进程 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 hadoop-daemons.sh stop datanode ...

    快速学习-DataNode

    2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。 3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果...

    大数据面试题-.docx

    配置机架感知的下面哪项正确 a)如果一个机架出问题,不会影响数据读写 b)写入数据的时候会写到不同机架的 DataNode 中 c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确...

    Hadoop集群的搭建.docx

    错误:启动完后,datanode的主机上没有出现datanode进程。或者出现了多个datanode进行。 原因是:当第一次连接的时候,在datanode主机上存放临时文件的目录下(我的为hdptmp),hdptmp/dfs/data/current/version中...

    Hadoop完全分布式配置1

    11. 在第一台节点上格式化并启动namenode12. 在第二个节点上格式化启动namenode13. 三台节点启动datanode14. 在第一台节点和第二

    Hadoop集群搭建-完全分布式

    site.xml(hadoop核心配置)hdfs-site.xml(分布式文件系统HDFS相关配置)mapred-site.xml(MapReduce相关配置)yarn-site.xml(Yarn相关配置)slaves文件(里面写从节点所在的主机名,会在这些主机上启动DataNode)...

    无法启动hive

    安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式...

    hadoop (1).docx

    错误:启动完后,datanode的主机上没有出现datanode进程。 原因是:当第一次连接的时候,在datanode主机上存放临时文件的目录下(我的为hdptmp),hdptmp/dfs/data/current/version中保存了两个id号,当namenode...

    大数据平台常见面试题.pdf

    a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 注:haoop1.X 分析: hadoop 的集群是基于 master/slave 模式,namenode 和 jobtracker 属于 master,datanode 和 tasktracker属于 slave,master 只 ...

    ArachneUI:跨不同数据节点和研究进行协作研究的网络基础架构

    请运行: npm run build-node开发指南在开发模式下运行为了启动门户网站Web应用程序,请启动后端并执行以下命令: npm run portalWebpack开发服务器应从启动 为了启动datanode Web应用程序,请启动

    hdfs源码.zip

    1.3.4 Datanode启动、心跳以及执行名字节点指令流程 26 1.3.5 HA切换流程 27 第2章 Hadoop RPC 29 2.1 概述 29 2.1.1 RPC框架概述 29 2.1.2 Hadoop RPC框架概述 30 2.2 Hadoop RPC的使用 36 2.2.1 ...

    [hadoop] ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes

    在启动hadoop后,查看jps时看不到应该启动起来的东西 其中一个问题是报but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes 直接解决 在Hadoop安装目录下找到sbin文件夹 在里面...

    外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block

    1、遇到问题 今天使用自己的电脑,使用外网操作阿里云服务器上的HDFS。 报错 org.apache.hadoop.hdfs.BlockMissingException: Could ... 使用 jps 查看本地本地 datanode 启动没问题 使用 hadoop fsck /weblog/log.

    已过基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计(源码下载)

    start-all.sh : 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh : 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、...

    大数据开发技术.pdf

    在客户端与数据节点之间共享数据 3 管理 Datanode 结点的状态报告, 包括 Datanode 结点的健康状态报 告和其所在结点上数据块状态报告,以便能够及时处理失效的数据结 点。 NameNode 与 SecondaryNameNode 的区别与...

    自动开启和关闭所有hdfs与yarn组件的脚本

    通过测试,hdfs与yarn组件启动后有以下进程: node1 jps:4个进程 NameNode、JournalNode、DFSZKFailoverController、Jps node2 jps:7个进程 DFSZKFailoverController、NodeManager、JournalNode、QuorumPeerMain、...

    hadoop2.4.1三台机器分布式安装

    2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个 是Standby,状态由zookeeper进行协调

Global site tag (gtag.js) - Google Analytics