看了很多博客,发现了一个最适合新手的,而且本人已经验证安装成功,链接如下:
http://www.powerxing.com/install-hadoop/
对安装过程中遇到的一些问题的补充
1. 将文件放入虚拟机中
不能直接将jdk安装包复制粘贴到虚拟机中,要先安装了vmware tools才可以,步骤如下
1.1点击工具栏中的 虚拟机(M),在弹出的下拉框中再点击设置(s)
1.2,在设置中选择选项面板,并点击共享文件夹,在右边选择总是启用(E),然后点击确定
1.3安装vmware tool 选择共享的磁盘或者文件夹,安装成功后,就可以直接将jdk安装包从外面复制粘贴(paste)到虚拟机中了
2. 启动伪分布式的时候报错
Error: JAVA_HOME is not set and could not be found.
解决方法:
输入 gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 打开文件
更改 export JAVA_HOME=$JAVA_HOME (将相对路径改成绝对路径)
变成 export JAVA_HOME=/usr/java/jdk1.6.0_45(根据你安装的路径来填写)
3.用eclipse开发hadoop程序
链接如下:http://www.powerxing.com/hadoop-build-project-using-eclipse/
问题1:在/usr/local/hadoop目录下输入 ./sbin/start-dfs.sh 后,出现permission denie
原因:权限问题,用sudo ./sbin/start-dfs.sh 也会失败
解决方法: 先切换为root用户 输入命令 su
然后输入 ./sbin/start-dfs.sh
再切换回普通用户 su hadoop
问题2:Exception in thread "main" ExitCodeException exitCode=1:
chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/bo806358276/.staging/job_local806358276_0001
原因:权限问题
解决办法: 1.切换到root用户 输入命令 su
2.输入命令 chmod -R 777 /usr/local/hadoop (/usr/local/hadoop是hadoop的安装目录,根据你自己的安装目录修改)
问题3:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
解决方法:
- 找到WordCount工程下的src中的hdfs-site.xml
- 找到/user/local/hadoop/etc/hadoop/hdfs-site.xml (根据你的hadoop安装目录进行查找)
都打开,并且在其中添加一段代码
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
有篇文章透彻的讲解这个问题的根源,链接如下:http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/
最后,如果原作者的文章真的对你帮助很大,那么最好微信赞助,因为对别人的有效付出给予回报,既是对别人的尊重,也是对自己的尊重。
相关推荐
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
虚拟机Ubuntu下hadoop2.6.0的安装与配置 (单机模式,伪分布式,完全分布式)非常详细的安装配置指南
hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建hadoop2.6.5伪分布式搭建
CentOS环境下Hadoop2.6.0分布式部署说明
由于资源有限,只能在本机windows环境下搭建vmware虚拟操作系统fedora上运行hadoop+hbase。 主要分为以下几个部分进行介绍: 一、环境版本要求和准备 二、Fedora服务器hadoop安装过程 三、Fedora服务器Hbase配置...
Centos7上搭建hadoop2.6.0分布式系统,教程超详细! 搭建过程中如果有什么疑问可以邮我1668544151@qq.com 单机搭建伪分布式也适用!
hadoop2.4.1伪分布式搭建
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
2、大数据环境-安装Hadoop2.5.2伪分布式傻瓜教程 原创
搭建hadoop伪分布式集群的步骤,希望能帮到各位,多多
1.linux系统:Ubuntu14.04 2.hadoop版本:hadoop-2.2.0 3.JDK版本:Jdk1.8.0_74
ubuntu下Hadoop的伪分布式配置
王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第二讲Hadoop图文训练课程:全球最详细(不放过任何一个细节)的从零起步搭建Hadoop单机和伪分布式开发环境图文教程.pdf
最近自学hadoop2.0.0伪分布式搭建,都是一边学一边记录的 个人认为只要是稍微熟悉linux的都能看懂并搭建成功 分有点高,考虑好在下载
hadoop2.7.3伪分布式模式搭建,一个pdf文档,思路步骤清晰,按着步骤能得出结果,手把手教学。
大数据hadoop安装伪分布式成熟虚拟机镜像,只需改本地虚拟网卡ip地址为192.168.6.1,网关192.168.6.2即可
虚拟机搭建Hadoop伪分布式及Hbase
Hadoop 2.6.0分布式部署参考手册.doc
Hadoop伪分布式集群环境搭建 Hadoop伪分布式集群环境搭建