- 浏览: 59698 次
- 性别:
- 来自: 北京
最新评论
-
scu_cxh:
您好,我在学习hadoop方面的东西,想做一个对task监控的 ...
JobClient应用概述 -
bennie19870116:
看不到图呢...
Eclipse下配置使用Hadoop插件
一、背景
早上由于误删namenode上的hadoop文件夹,在主节点上重新安装hadoop之后,发现有2个datanode无法启动,经过排查,解决了这个问题,记下。
二、现象及解决办法
1、2个节点的Tasktracker启动了,但datanode死活起不来。
2、使用sh hadoop-daemon.sh命令单独也无法启动。
3、错误信息如下:
2010-08-10 10:51:23,413 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
2008-07-23 22:04:06,697 INFO org.apache.hadoop.ipc.Server: IPC Server handler 9 on 9000, call register(DatanodeRegistration(s132:50010, storageID=DS-450792627-192.168.3.132-50010-1280748240648, infoPort=50075, ipcPort=50020)) from 192.168.3.132:33610: error: java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
java.io.IOException: verifyNodeRegistration: unknown datanode s132:50010
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.verifyNodeRegistration(FSNamesystem.java:3887)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:2041)
at org.apache.hadoop.hdfs.server.namenode.NameNode.register(NameNode.java:687)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953)
4、查看配置文件,core-site.xml,发现多了一项配置:
dfs.hosts.exclude
excludes
5、上网找资料,发现这个作用是通知集群需要停掉的机器名称。
首先建立一个excludes文件.它是一个文本, 里面每行就是想要停掉的主机名.这里excludes 放在 $HADOOP_HOME下,内容如下:
excludes:s132,s133
6、删掉,重启集群,OK。
三、总结
1、通过这个问题,衍生出了如何使datanode启动和停止。
2、有个问题没明白,这个配置想是什么时候加进去的。
3、可以参看http://coderplay.iteye.com/blog/290767这个内容。
发表评论
-
Hadoop的基准测试工具使用(部分转载)
2011-01-21 11:58 1563一、背景由于以前没有 ... -
分布式集群中的硬件选择
2011-01-21 11:58 1000一、背景最近2个月时间一直在一个阴暗的地下室的角落里工作,主要 ... -
Map/Reduce的内存使用设置
2011-01-21 11:57 1608一、背景今天采用10台 ... -
Hadoop开发常用的InputFormat和OutputFormat(转)
2011-01-21 11:55 1455Hadoop中的Map Reduce框架依 ... -
SecondaryNamenode应用摘记
2010-11-04 15:54 1028一、环境 Hadoop 0.20.2、JDK 1.6、 ... -
Zookeeper分布式安装手册
2010-10-27 09:41 1295一、安装准备1、下载zookeeper-3.3.1,地址:ht ... -
Hadoop分布式安装
2010-10-27 09:41 981一、安装准备1、下载hadoop 0.20.2,地址:http ... -
Map/Reduce使用杂记
2010-10-27 09:40 905一、硬件环境1、CPU:Intel(R) Core(TM)2 ... -
Hadoop中自定义计数器
2010-10-27 09:40 1495一、环境1、hadoop 0.20.22、操作系统Linux二 ... -
Map/Reduce中的Partiotioner使用
2010-10-27 09:39 882一、环境1、hadoop 0.20.22 ... -
Map/Reduce中的Combiner的使用
2010-10-27 09:38 1153一、作用1、combiner最基本是实现本地key的聚合,对m ... -
Hadoop中DBInputFormat和DBOutputFormat使用
2010-10-27 09:38 2400一、背景 为了方便MapReduce直接访问关系型数据 ... -
Hadoop的MultipleOutputFormat使用
2010-10-27 09:37 1648一、背景 Hadoop的MapReduce中多文件输出默 ... -
Map/Reduce中公平调度器配置
2010-10-27 09:37 1507一、背景一般来说,JOB ... -
Map/Reduce的GroupingComparator排序简述
2010-10-27 09:36 1307一、背景排序对于MR来说是个核心内容,如何做好排序十分的重要, ... -
Map/Reduce中分区和分组的问题
2010-10-27 09:35 1102一、为什么写分区和分组在排序中的作用是不一样的,今天早上看书, ... -
关于Map和Reduce最大的并发数设置
2010-10-27 09:34 1214一、环境1、hadoop 0.20.22、操作系统 Linux ... -
关于集群数据负载均衡
2010-10-27 09:33 854一、环境1、hadoop 0.20.22、操作系统 Linux ... -
Map/Reduce执行流程简述
2010-10-27 09:33 957一、背景最近总在弄MR的东西,所以写点关于这个方面的内容,总结 ... -
Hadoop集群中关于SSH认证权限的问题
2010-10-27 09:32 866今天回北京了,想把在外地做的集群移植回来,需要修改ip地址和一 ...
相关推荐
Hadoop datanode启动失败:Hadoop安装目录权限的问题
Hadoop datanode重新加载失败无法启动解决.docx
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
daemons.sh start namenode 单独启动NameNode守护进程 hadoop-daemons.sh stop namenode 单独停⽌NameNode守护进程 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 hadoop-daemons.sh stop datanode ...
2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。 3)心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器,或删除某个数据块。如果...
配置机架感知的下面哪项正确 a)如果一个机架出问题,不会影响数据读写 b)写入数据的时候会写到不同机架的 DataNode 中 c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确...
错误:启动完后,datanode的主机上没有出现datanode进程。或者出现了多个datanode进行。 原因是:当第一次连接的时候,在datanode主机上存放临时文件的目录下(我的为hdptmp),hdptmp/dfs/data/current/version中...
11. 在第一台节点上格式化并启动namenode12. 在第二个节点上格式化启动namenode13. 三台节点启动datanode14. 在第一台节点和第二
site.xml(hadoop核心配置)hdfs-site.xml(分布式文件系统HDFS相关配置)mapred-site.xml(MapReduce相关配置)yarn-site.xml(Yarn相关配置)slaves文件(里面写从节点所在的主机名,会在这些主机上启动DataNode)...
安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中,系统启动的时候去修改和删除文件也会有安全模式...
错误:启动完后,datanode的主机上没有出现datanode进程。 原因是:当第一次连接的时候,在datanode主机上存放临时文件的目录下(我的为hdptmp),hdptmp/dfs/data/current/version中保存了两个id号,当namenode...
a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 注:haoop1.X 分析: hadoop 的集群是基于 master/slave 模式,namenode 和 jobtracker 属于 master,datanode 和 tasktracker属于 slave,master 只 ...
请运行: npm run build-node开发指南在开发模式下运行为了启动门户网站Web应用程序,请启动后端并执行以下命令: npm run portalWebpack开发服务器应从启动 为了启动datanode Web应用程序,请启动
1.3.4 Datanode启动、心跳以及执行名字节点指令流程 26 1.3.5 HA切换流程 27 第2章 Hadoop RPC 29 2.1 概述 29 2.1.1 RPC框架概述 29 2.1.2 Hadoop RPC框架概述 30 2.2 Hadoop RPC的使用 36 2.2.1 ...
在启动hadoop后,查看jps时看不到应该启动起来的东西 其中一个问题是报but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes 直接解决 在Hadoop安装目录下找到sbin文件夹 在里面...
1、遇到问题 今天使用自己的电脑,使用外网操作阿里云服务器上的HDFS。 报错 org.apache.hadoop.hdfs.BlockMissingException: Could ... 使用 jps 查看本地本地 datanode 启动没问题 使用 hadoop fsck /weblog/log.
start-all.sh : 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh : 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、...
在客户端与数据节点之间共享数据 3 管理 Datanode 结点的状态报告, 包括 Datanode 结点的健康状态报 告和其所在结点上数据块状态报告,以便能够及时处理失效的数据结 点。 NameNode 与 SecondaryNameNode 的区别与...
通过测试,hdfs与yarn组件启动后有以下进程: node1 jps:4个进程 NameNode、JournalNode、DFSZKFailoverController、Jps node2 jps:7个进程 DFSZKFailoverController、NodeManager、JournalNode、QuorumPeerMain、...
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个 是Standby,状态由zookeeper进行协调