1.给hadoop用户赋予和root用户同样的权限
sudo vim /etc/sudoers
2.修改hostname
sudo vi /etc/hostname
3.修改hosts
sudo vi /etc/hosts
4.重启Ubuntu(重启之后,可以尝试ping hostname,比如ping hadoop-0000)
sudo reboot
5. Alt + P, put JDK & Hadoop
6. 解压JDK & Hadoop
sudo tar zxvf jdk-8u77-linux-x64.tar.gz -C app/ sudo tar zxvf hadoop-2.6.4.tar.gz -C app/
7.配置JAVA_HOME & HADOOP_HOME
sudo vi /etc/profile
#setup Java & Hadoop environment export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77 export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4 export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
8.使环境变量生效
source /etc/profile
9.查看Hadoop文件夹
10.配置Hadoop环境
修改Hadoop环境的用户和用户组
sudo chown -R hadoop:hadoop hadoop-2.6.4/
配置hadoop-env.sh
sudo vi hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_77
配置core-site.xml
sudo vi core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-0000:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/app/hadoop-2.6.4/data</value> </property> </configuration>
配置hdfs-site.xml
sudo vi hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml sudo vi mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
配置yarn-site.xml
sudo vi yarn-site.xml
<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop-0000</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
配置slaves
sudo vi slaves
格式化(格式化一次就行了,否则将导致DataNode无法启动)
hadoop namenode -format
启动start-dfs.sh
启动start-yarn.sh
配置Windows Hosts
输入http://hadoop-0000:50070/
相关推荐
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。...其实,Hadoop环境搭建的主要内容是Cygwin的安装,估计要占总时间的2/3, 其它工作我会手把手的教你,come on,follow me!
hadoop环境搭建和eclipse开发
Hadoop环境搭建手册(包含所有基本信息,本人亲测)
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境
hadoop环境搭建
hadoop的环境搭建手册 分布式计算开源框架Hadoop介绍
适合零基础的初学者,在window系统下搭建hadoop环境,
最详细的Hadoop环境搭建
hadoop环境搭建资源 hadoop环境搭建资源 hadoop环境搭建资源 hadoop环境搭建资源
hadoop2.9.2 zookeeper 3.4.14 搭建环境,亲测可用。。
史上最详细的Hadoop环境搭建,CentOS+Hadoop等详解 第一部分:Linux环境安装 第二部分:Hadoop本地模式安装 第三部分:Hadoop伪分布式模式安装 第四部分:完全分布式安装 第五部分:Hadoop HA安装
ubuntu环境下hadoop环境搭建(伪分布模式),是本人学习大数据以来对于hadoop环境搭建的一些经验,现在写成文档的形式分享给大家。
hadoop环境搭建(1).docx
Hadoop环境搭建和HDFS Shell命令 ppt格式 内容丰富生动