hadoop在put本地文件的时候异常：There are 0 datanode(s) running and no node(s) are excluded

我在本地搭建了一个hadoop的伪分布式环境，在本地put文件到hdfs的时候发生异常。

hadoop fs -put hello.log /hello/201803201140/

 异常信息：

There are 0 datanode(s) running and no node(s) are excluded in this operation.

查看DataNode的日志文件，有如下的异常信息：

2018-11-21 14:49:15,524 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/Users/kpx/Datas/hadoop/hdfs/tmp/dfs/data
java.io.IOException: Incompatible clusterIDs in /Users/kpx/Datas/hadoop/hdfs/tmp/dfs/data: namenode clusterID = CID-8d444e87-7d47-497d-b92a-83a15c2f025d; datanode clusterID = CID-206e5c4d-31bf-40e7-ad76-4ecf4bb2fa5c

  表名DataNode有问题，然后使用 jps 命令查看java的检查，发现没有DataNode被启动：

进程情况： 写道

58400 ResourceManager
58499 NodeManager
58206 SecondaryNameNode
57967 NameNode

 

突然意识到可能是之前我反反复复搭建hadoop的过程中几次中断过程、几次format namenode等乱七八糟的操作引起的DataNode的文件异常。

查看 core-site.xml 配置文件里面的 <name>hadoop.tmp.dir</name> ，进入该目录下面的 dfs 目录，如下：

data
name
namesecondary

 这3个目录下面的内容都删除，然后重新运行namenode的格式化：

hdfs namenode -format

 重新运行 put 命令上传文件，成功！