hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊!
日志如下:
2010-05-19 12:47:44,991 INFO http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted
很莫名其妙的问题,据说是因为双IP的问题,LINUX下要禁止IPV6,可我觉得这个问题开发团队肯定是注意了的,问题不在这里。
经过1天甚至还多的时间折腾,我发现下面的规律:
1、namenode第一次启动,日志显示正常,但是bin/hadoop fs -put 会报错,就是常见的:
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1
这个问题也可能是防火墙的问题,前面也遇到过。
2、namenode第二次启动(或之后),日志显示就不正常了。就是上面贴出来的,正常启动又自己自动关闭。
3、经过反复测试,发现问题在这里
3.1、每台机器都有名称,job运行的时候会根据主机名获取地址,所以要做DNS解析或者在/etc/hosts里面自己写上。(这个总结题外话,也不知道是否一定准确)
3.2、就是本篇文章要讲的问题:
<property>
<name>fs.default.name</name>
<value>hdfs://home0.hadoop:9000</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop,不要写主机名称,得是域名。经过DNS或者hosts解析的域名。
3.3另外masters里面,我现在也写成了home0.hadoop,没有测试和这个问题是否有关系。
分享到:
相关推荐
包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache.hadoop,artifactId:hadoop-hdfs-client,version:2.9.1 使用方法:解压翻译后的API文档...
包含翻译后的API文档:hadoop-hdfs-2.6.5-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.6.5; 标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API...
包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用...
包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs-client:2.9.1; 标签:apache、hadoop、hdfs、client、中英对照文档、jar...
包含翻译后的API文档:hadoop-hdfs-2.7.3-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.7.3; 标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API...
hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar hadoop-yarn-client-3.1.1.jar hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient...
包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)版.zip 对应Maven信息:groupId:org.apache.hadoop,artifactId:hadoop-hdfs,version:2.9.1 使用方法:解压翻译后的API文档,用浏览器打开...
包含翻译后的API文档:hadoop-hdfs-2.5.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.5.1; 标签:apache、hadoop、hdfs、中英对照文档、jar包、java; 使用方法:...
包含翻译后的API文档:hadoop-hdfs-2.5.1-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.5.1; 标签:apache、hadoop、hdfs、中文文档、jar包、java; 使用方法:解压翻译后的API...
包含翻译后的API文档:hadoop-hdfs-2.6.5-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.6.5; 标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用...
hadoop-hdfs-2.4.1.jar
包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.hadoop:hadoop-hdfs:2.9.1; 标签:apache、hadoop、hdfs、中英对照文档、jar包、java; 使用方法:...
hadoop-hdfs-2.7.3搭建flume1.7需要用到的包,还有几个包也有提供
hadoop-hdfs-2.2.0.jar 点击下载资源即表示您确认该资源不违反资源分享的使用条款
flume 想要将数据输出到hdfs,必须要有hadoop相关jar包。本资源是hadoop 2.7.7版本
有时候需要查看修改或者回复hdfs的默认配置,在这个jar包里面,可以把hadoop-default.xml拿出来
hadoop-client-2.6.5.jar
hadoop-hdfs-test-0.21.0.jar
亲手整理的hdfs面试题,不是从网上粘贴的,仅此一份。
htmlunit-runner-freemarker.zip,runner将freemarker模板加载到htmlunit中。runner使用htmlunit maven插件执行freemarker模板。