1, 伪分布式模式不能用root??
以root执行start-all.sh出现
localhost: Unrecognized option: -jvm
localhost: Could not create the Java virtual machine.
下面是别人的解决方案:(可以修改的地方有两个)
第一个(次要的):$HADOOP_HOME/conf/hadoop-env.sh
修改参数: export HADOOP_HEAPSIZE=256 #默认值为1000M,为Java虚拟机占用的内存的大小
第二个(主要的):查看$HADOOP_HOME/bin/hadoop 源码:
if [[ $EUID -eq 0 ]]; then
HADOOP_OPTS="$HADOOP_OPTS -jvm server $HADOOP_DATANODE_OPTS"
else
HADOOP_OPTS="$HADOOP_OPTS -server $HADOOP_DATANODE_OPTS"
fi
如果以root身份启动,则hadoop启动java虚拟机时,会带上-jvm参数。
不同的java版本,启动参数可能会不一致,由此导致以上问题。
2, 当配置成伪分布式模式时为何不能用单机模式了??
(条件:/lzh/input存在,hdfs中不存在input)
当执行hadoop jar /usr/hadoop-1.0.1/hadoop-examples-1.0.1.jar wordcount input output 出错,
提示为:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/user/input
原因:当配置成伪分布式模式后,操作都是在hdfs中进行的。
3, 启动不了namenode。查看日志中:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:
Incompatible namespaceIDs in /home/admin/joe.wangh/hadoop/data/dfs.data.dir:
namenode namespaceID = 898136669; datanode namespceID = 21274440a65
原因:多次执行hadoop namenode –format,每次namenode format会重新创建一个namenodeId,
而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,
但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下的所有目录.
4, 在格式化namenode时出现以下问题:
ERROR namenode.NameNode: java.io.IOException: Cannot create directory /tmp/hadoop-lzh/dfs/current
请注意 /home/hadoop 的权限,因为您用的是user身份,理论上无法写入/home/hadoop
#########################
解法一:帮 /home/hadoop 加入其他使用者也可以写入的权限
sudo chmod -R a+w /home/hadoop/tmp
解法二:改用 user 身份可以写入的路径 hadoop.tmp.dir 的路径 - 修改 core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
</property>
#########################
上面是别人的做法,我的做法是用root权限:chmod 757 /tmp。问题解决。
5, 安装hadoop-1.0.1后,执行命令出现$HADOOP_HOME is deprecated.
这不是错误,可以修改bin/hadoop-config.sh,注释掉$HADOOP_HOME is deprecated的内容
6, 向hdfs添加文件或删除文件时,出现Name node is in safe mode错误:
rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
解决的命令:
#关闭safe mode
bin/hadoop dfsadmin -safemode leave
更多信息请查看 java进阶网 http://www.javady.com
相关推荐
包含配置hadoop过程中遇到的一些问题的解决办法和成功运行wordcount实例的步骤
Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析服务。尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、...
(1)熟悉Hadoop开发包 (2)编写MepReduce程序 (3)调试和运行MepReduce程序 (4)完成上课老师演示的内容 二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 二、实验内容 1.单词计数实验...
Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析服务。尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、...
Win环境下本地运行hadoop1版本出现访问权限问题,会遇到如下报错: Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\staging\...
Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析服务。尤其适用于大数据系统,Hadoop为苹果、eBay、LinkedIn、雅虎和Facebook等公司提供重要软件环境。它为开发者进行数据存储、...
第1 部分 背景和基本原理1 跳跃中的Hadoop1.1 什么是Hadoop 1.1.1 Hadoop 的核心组件1.1.2 Hadoop 生态圈1.1.3 物理架构1.1.4 谁在使用Hadoop1.1.5 Hadoop 的局限性1.2 运行Hadoop 1.2.1 ...
windows下搭建nutch会遇到Hadoop下FileUtil.java问题,所以我们一般的做法是找到Hadoop-core-1.2.0源码中的org.apache.hadoop.fs下的FileUtil.java修改其中的CheckReturnValue方法,注释掉其中的内容这时运行会遇到...
11.记录集群启动过程及运行过程遇到的问题1
**在操作过程中,如果遇到权限相关的问题,基本上在代码前面加sudo就可以解决(这样可以暂时获取权限)** ### 1.1 Hadoop用户的创建 如果你安装 CentOS 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 ...
同时,我们还撰写了一篇关于企业级网盘系统设计与实现的论文,从理论到实践,全面阐述了系统的设计思路、技术选型、实现过程以及遇到的问题与解决方案,为学习者的研究和实践提供了有力的支持。
CDH集群大数据hadoop报错解决办法及思路整理,主要解决大数据在运行过程中所遇到的问题,相关解决办法都是实践验证过。
我编译用到的包(protobuf-2.5.0.tar.gz,findbugs-3.0.1.tar.gz,apache-ant-1.9.13-bin.tar.gz,snappy-1.1.1.tar.gz)和编译的过程详解(遇到的错误)都在压缩包中(hadoop源码请到官网下载)。 背景Hadoop官网...
(5):解决显示所有表遇到的错误(由于集群处于安全模式,该模式下只能进行只读操作,要解除安全状态才能运行) (6):create 'tempTable', 'f1', 'f2', 'f3',创建tempTable表,'f1', 'f2', 'f3'是列族 (7):put '...
自律成为习惯,优秀自然而然。 发现问题 分析:这种问题的出现主要是我们在window模式环境中开发的时候没有搭建...这是我在自学过程中遇到的问题,希望能够给别人带来帮助。谢谢。 作者:Leslie Cheung(自律者)
QCon 2009 beijing全球企业开发大会ppt...本主题由于FreeWheel创始人Diane Yu和FreeWheel核心系统技术总监王迪,以在研发中遇到的实际问题为例,和大家分享如何按照一定的原则找到问题,选择正确解决方案,并付诸实施。
YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。 美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。 离线业务主要运行的是Hive on ...
操作系统支持在大数据 Hadoop/hove 平台上运行的框架,每天处理 5-10 TB 数据,并生成关于用户活动的每日、每周、每月报告,用于决策标记。 ###内容包括: (1) 用户活跃度:日/周/月PV、UV、LOSS、Return、在线时间...
在安装运行hadoop环境是遇到了动态链接库版本太低导致hadoop命令运行不了,经过一番努力找到了方法,经过编译安装生成了这个文件,替换上去问题解决,因此分享出来,希望能帮到其他人。
而这次Hadoop在Mac上的安装费尽周折,并且遇到网上没有先例的问题(由于编译版本不同)、包括Hadoop2.2.0源码中的许多bug。 在此将我的安装过程记录下来,或许对后人有用。 环境: MacOS-10.14, java-1.7.0_80, cmake...