今天发现一个问题,当hadoop集群运行一段时间以后,无法停止服务。执行stop-all的时候提示
no tasktracker to stop
,no datanode to stop。而当我把所有节点手动kill掉以后,执行start-all和stop-all均没有问题。在邮件群组里问
了一下,最后结论如下:
stop-all.sh会调用stop-mapred.sh和 stop-dfs.sh去停止jobtracker, tasktrackers; namenode, datanodes。
Jobtracker和namenode的停止是在本地通过调用hadoop-daemon完成的,而tasktracker,和datanode
的停止是通过调用hadoop-daemons来完成的。Hadoop-daemon实质上是ssh到每一个slave去执行一个当地的hadoop-
daemon命令,比如:hadoop-daemon stop datanoade。
Hadoop-daemon stop command会通过kill -0 `cat command.pid` 来测试进程是否存在,如果这个测试中有错误产生,就会报”no command to stop ”。
- 可能原因:
pid
文件丢了,导致
hadoop-daemon.sh stop XXX
时找不到进程号。
- 解决办法:默认
pid
文件放在
/tmp
目录下,不太安全。可以在
conf/hadoop-env.sh
里设置
HADOOP_PID_DIR
环
境变量改变
pid
文件的存放目录。
最后我增加上了pid的路径配置,这下应该没有问题了
原文出处:http://wuma.koubei.com/blog/userdetail/8231a5007a4c4978a076918216dbbc2a
分享到:
相关推荐
Hadoop3.1.3 配置文件
Hadoop 2.2.0 配置文件 在4台CentOs 6.4版本下运行成功
hadoop安装配置文档,hadoop是云计算的基础。绝大部分的云计算中的分布式存储和计算都是使用hadoop的。简单的理解的话,云计算是系统工程的蓝图,hadoop是基础层面的重要的必不可少的工具
详细的hadoop单机配置步骤,非常好的一个文档。
安hadoop集群配置,hadoop集群配置,hadoop集群配置,hadoop集群配置
hadoop的默认配置文件,下载记得关注我哦
本文档用于说明hadoop1.0.3安装配置的步骤 以及其中需要注意的事项
本文档列出了hadoop的常用配置说明,对hadoop的学习很有帮助。
Windows 7 or 10 eclipse hadoop2.7.1 配置需要文件和工具
hadoop配置属性hadoop配置属性hadoop配置属性hadoop配置属性hadoop配置属性
Hadoop安装配置过程和注意事项
hadoop config 配置文件
Hadoop集群配置及MapReduce开发手册
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件hadoop配置文件
利用shell脚本 对Hadoop环境进行傻瓜式配置 先解压! 环节包括: 1.修改hostname 2.修改hosts 3.配置免密 4.Hadoop配置文件的更改 !!!!!!!!!!!!!!!!!!!! ps 请特别注意以下几个问题: 1....
hadoop安装配置,轻松搞定hadoop集群配置安装
Hadoop安装和配置,Hadoop安装和配置,Hadoop安装和配置
hadoop的安装配置过程详细介绍,本人也是初学者,和大家分享一下