DataNode启动失败:
2012-12-14 00:48:19,242 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/hadoop/hadoop-1.0.4/data, expected: rwxr-xr-x, while actual: rwxrwxrwx
2012-12-14 00:48:19,242 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.
2012-12-14 00:48:19,242 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2012-12-14 00:48:19,301 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
进行分组统计的时候一直报错,Hadoop的Datanode不存在。
通过分析启动日志后发现fs.data.dir参数设置的目录权限必需为755,要不启动datanode节点启动就会因为权限检测错误而自动关闭。
我之前一直设置成chmod 777 不行,要chmod 755就可以了。。这个要在Linux的文件权限那里设置。
$ chmod 755 -R /usr/hadoop/hadoop-1.0.4/data
OK
分享到:
相关推荐
Hadoop datanode启动失败:Hadoop安装目录权限的问题
Hadoop datanode重新加载失败无法启动解决.docx
因业务需要搭建一个新hadoop集群,并将老的hadoop集群中的数据迁移至新的hadoop集群,而且datanode节点不能全部上线,其中还可能会出现节点上线或下线的情况,这个时候就很容易出现机器与机器之间磁盘的均衡的情况,...
上传文件到Hadoop失败的原因分析及解决方法.pdf
用于 Apache Hadoop HDFS 的 DataNode 卷重新平衡工具该项目旨在填补和系列的空白:当一个硬盘驱动器在 Datanode 上死机并被替换时,没有真正的方法将块从最常用的硬盘移动到新添加的硬盘上——因此是空的。...
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解!
hadoop 源码解析-DataNode
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
daemons.sh start namenode 单独启动NameNode守护进程 hadoop-daemons.sh stop namenode 单独停⽌NameNode守护进程 hadoop-daemons.sh start datanode 单独启动DataNode守护进程 hadoop-daemons.sh stop datanode ...
实战Hadoop:开启通向云计算的捷径
在学习hadoop启动脚本过程中记录的,有一定的参考价值,值得一看!
HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本HadoopHA集群 批量启动脚本
实战Hadoop:开启通向云计算的捷径(刘鹏)PDF电子书,已添加目录。
实战Hadoop:开启通向云计算的捷径(刘鹏) 高清完整中文版PDF下载
1. 常见情况 2. 失败重试 3. 任务失败容忍
jps判断hadoop启动是否成功;分别对master和slave进行了判断。jps不是hadoop的什么命令,是java的命令,所以直接执行就行了。
在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....