hadoop错误记录

今天弄了一下hadoop(我好大杂烩啊,没办法,被逼的),记录几个错误

1 Name node is in safe mode

这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。
可以通过以下命令来手动离开安全模式：

bin/hadoop dfsadmin -safemode leave

2 Error: # of failed Map Tasks exceeded allowed limit.

这个告警很模糊，刚开始还以为是设置的问题，按照网上说的修改了堆的大小还是不行，只好自己看报错的日志(箭头所指打开日志)。



查看后发现时找不到执行的脚本，于是将脚本路径改为绝对路径。执行后还是不报错，再看日志，发现是没有执行脚本的权限，加权限后终于运行成功。

付：
python写map/reduce脚本的运行命令

./bin/hadoop jar contrib/streaming/hadoop-streaming-1.0.0.jar -mapper /usr/hadoop/mapper.py -reducer /usr/hadoop/reducer.py -input /input/* -output output5