异常描述
在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示:
[shirdrn@localhost bin]$ hadoop namenode -format 11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = java.net.UnknownHostException: centos64:centos64 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.20.0 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.20 -r 763504; compiled by 'ndaley' on Thu Apr 9 05:18:40 UTC 2009 ************************************************************/ Re-format filesystem in /tmp/hadoop/hadoop-shirdrn/dfs/name ? (Y or N) Y 11/06/22 07:33:36 INFO namenode.FSNamesystem: fsOwner=shirdrn,shirdrn 11/06/22 07:33:36 INFO namenode.FSNamesystem: supergroup=supergroup 11/06/22 07:33:36 INFO namenode.FSNamesystem: isPermissionEnabled=true 11/06/22 07:33:36 INFO metrics.MetricsUtil: Unable to obtain hostName java.net.UnknownHostException: localhost.localdomain: localhost.localdomain at java.net.InetAddress.getLocalHost(InetAddress.java:1353) at org.apache.hadoop.metrics.MetricsUtil.getHostName(MetricsUtil.java:91) at org.apache.hadoop.metrics.MetricsUtil.createRecord(MetricsUtil.java:80) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.initialize(FSDirectory.java:73) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.<init>(FSDirectory.java:68) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:370) at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:853) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:947) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:964) 11/06/22 07:33:36 INFO common.Storage: Image file of size 97 saved in 0 seconds. 11/06/22 07:33:36 INFO common.Storage: Storage directory /tmp/hadoop/hadoop-shirdrn/dfs/name has been successfully formatted. 11/06/22 07:33:36 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: localhost.localdomain: localhost.localdomain ************************************************************/
再执行 /bin/start-all.sh 就不成功。
通过执行hostname命令可以看到:
[shirdrn@localhost bin]# hostname centos64
也就是说,Hadoop在格式化HDFS的时候,通过hostname命令获取到的主机名是centos64,然后在/etc/hosts文件中进行映射的时候,没有找到,看下我的/etc/hosts内容:
[root@localhost bin]# cat /etc/hosts # Do not remove the following line, or various programs # that require network functionality will fail. 127.0.0.1 localhost localhost 192.168.18.130 localhost localhost
在:查看一下/etc/sysconfig/network文件: 保存的是hostname 也就是主机名 。
在 /etc/hosts 中修改
127.0.0.1 localhost centos64
192.168.18.130 localhost centos64
让主机名centos64 在 hosts中能有一个IP与之相映射对应 。
2. 或修改 /etc/sysconfig/network 中的 hostname 为 localhost
再:[root@localhost bin]# /etc/rc.d/init.d/network restart
以上修改完后,再执行格式化HDFS命令,以及启动HDFS集群就正常了。
再启用 bin/start-all.sh
再用 jps .
以上是单机版的 hadoop1.2安装,如果是在集群中安装,
1.把在master中的 /etc/hosts 中把所有slave的 IP 加进来,
如
192.168.18.130 h0
192.168.18.131 h1
192.168.18.132 h2
2. 建立好SSH,实现无密码登陆 ,见另一个blog
3. 修改 vi /home/hadoop1.2/conf/master
h0
vi /home/hadoop1.2/conf/slave
h1
h2
相关推荐
主要介绍了hadoop格式化HDFS出现错误解决办法的相关资料,hadoop格式化HDFS报错java.net.UnknownHostException,这里提供解决办法,需要的朋友可以参考下
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595 防火墙记得关掉; 查看DataNode是否启动;...
标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心...
报错:Exception in thread “main” java.net.ConnectException: Call From hdp-1/192.168.234.129 to hdp-1:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more ...
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...
数据架构师第004节hadoop精讲之hdfs(2) .mp4
标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准...
at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoop.util.Shell.run(Shell.java:455) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) at ...
标签:apache、hdfs、hadoop、jar包、java、中文文档; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心...
【kettle集成cdh6.1】外部数据源读写hdfs若干错前言环境报错问题分析解决办法后记 前言 最近试着上手了一下kettle,搭建过程很简单,就是下载个包解压一下,但是在配置数据源的过程中着实踩了不少坑,这里记录一下。...
解决方案:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
报错:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.-附件资源
标签:apache、hadoop、hdfs、中文文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请放心...
标签:apache、hadoop、hdfs、中英对照文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译,请...
Flink-1.11.2与Hadoop3集成JAR包,放到flink安装包的lib目录下,可以避免Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the ...这个报错,实现Flink与Hadoop的集成
标签:apache、hadoop、hdfs、client、中英对照文档、jar包、java; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准...
运行Sqoop报错:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/avro/LogicalType,下载此资源放到Sqoop的lib目录下即可
标签:apache、hdfs、hadoop、jar包、java、API文档、中英对照版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准...