`

hadoop-hdfs启动又自动退出的问题

阅读更多

hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊!

日志如下:
2010-05-19 12:47:44,991 INFO  http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO  util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO  util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO  util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO  util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO  http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO  util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO  util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO  http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO  util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO  util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO  util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO  util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN  namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted

很莫名其妙的问题,据说是因为双IP的问题,LINUX下要禁止IPV6,可我觉得这个问题开发团队肯定是注意了的,问题不在这里。

经过1天甚至还多的时间折腾,我发现下面的规律:

1、namenode第一次启动,日志显示正常,但是bin/hadoop fs -put 会报错,就是常见的:
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1

这个问题也可能是防火墙的问题,前面也遇到过。

2、namenode第二次启动(或之后),日志显示就不正常了。就是上面贴出来的,正常启动又自己自动关闭。

3、经过反复测试,发现问题在这里

3.1、每台机器都有名称,job运行的时候会根据主机名获取地址,所以要做DNS解析或者在/etc/hosts里面自己写上。(这个总结题外话,也不知道是否一定准确)

3.2、就是本篇文章要讲的问题:
<property>
        <name>fs.default.name</name>
        <value>hdfs://home0.hadoop:9000</value>
</property>

<property>
        <name>mapred.job.tracker</name>
        <value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop,不要写主机名称,得是域名。经过DNS或者hosts解析的域名。

3.3另外masters里面,我现在也写成了home0.hadoop,没有测试和这个问题是否有关系。

0
1
分享到:
评论
发表评论

文章已被作者锁定,不允许评论。

相关推荐

    hadoop-hdfs-client-2.9.1-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache.hadoop,artifactId:hadoop-hdfs-client,version:2.9.1 使用方法:解压翻译后的API文档...

    hadoop-hdfs-2.6.5-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-2.6.5-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.6.5; 标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API...

    hadoop-hdfs-2.7.3-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用...

    hadoop-hdfs-client-2.9.1-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs-client:2.9.1; 标签:apache、hadoop、hdfs、client、中英对照文档、jar...

    hadoop-hdfs-2.7.3-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API...

    hadoop最新版本3.1.1全量jar包

    hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar hadoop-yarn-client-3.1.1.jar hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient...

    hadoop-hdfs-2.9.1-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache.hadoop,artifactId:hadoop-hdfs,version:2.9.1 使用方法:解压翻译后的API文档,用浏览器打开...

    hadoop-hdfs-2.5.1-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-2.5.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.5.1; 标签:apache、hadoop、hdfs、中英对照文档、jar包、java; 使用方法:...

    hadoop-hdfs-2.5.1-API文档-中文版.zip

    包含翻译后的API文档:hadoop-hdfs-2.5.1-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.5.1; 标签:apache、hadoop、hdfs、中文文档、jar包、java; 使用方法:解压翻译后的API...

    hadoop-hdfs-2.6.5-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-2.6.5-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.6.5; 标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用...

    hadoop-hdfs-2.4.1.jar

    hadoop-hdfs-2.4.1.jar

    hadoop-hdfs-2.9.1-API文档-中英对照版.zip

    包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.9.1; 标签:apache、hadoop、hdfs、中英对照文档、jar包、java; 使用方法:...

    hadoop-hdfs-2.7.3

    hadoop-hdfs-2.7.3搭建flume1.7需要用到的包,还有几个包也有提供

    hadoop-hdfs-2.2.0.jar

    hadoop-hdfs-2.2.0.jar 点击下载资源即表示您确认该资源不违反资源分享的使用条款

    hadoop-hdfs-2.7.7.jar

    flume 想要将数据输出到hdfs,必须要有hadoop相关jar包。本资源是hadoop 2.7.7版本

    hadoop-hdfs-2.7.2.jar

    有时候需要查看修改或者回复hdfs的默认配置,在这个jar包里面,可以把hadoop-default.xml拿出来

    hadoop-client-2.6.5.jar

    hadoop-client-2.6.5.jar

    hadoop-hdfs-test-0.21.0.jar

    hadoop-hdfs-test-0.21.0.jar

    hadoop-hdfs.pdf

    亲手整理的hdfs面试题,不是从网上粘贴的,仅此一份。

    hadoop-hdfs-bkjournal-2.2.0.zip

    htmlunit-runner-freemarker.zip,runner将freemarker模板加载到htmlunit中。runner使用htmlunit maven插件执行freemarker模板。

Global site tag (gtag.js) - Google Analytics