1.安装JDK7 rpm到/usr/java/jdk1.7.0_40
[root@server-308 ~]# rpm -ivh jdk-7u40-linux-x64.rpm
Preparing... ########################################### [100%]
1:jdk ########################################### [100%]
Unpacking JAR files...
rt.jar...
jsse.jar...
charsets.jar...
tools.jar...
localedata.jar...
jfxrt.jar...
[root@server-308 ~]# java -version
java version "1.7.0_40"
Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)
2.下载hadoop2.1beta并解压至/opt/hadoop-2.1.0-beta,并建立软链/opt/hadoop接到/opt/hadoop-2.1.0-beta
[root@server-308 ~]# cd /opt
[root@server-308 opt]# tar -zxvf /root/hadoop-2.1.0-beta.tar.gz
[root@server-308 opt]# ln -s hadoop-2.1.0-beta hadoop
[root@server-308 opt]# ls
cedar hadoop hadoop-2.1.0-beta rh
3. 设置环境变量、
[root@server-308 opt]# vim /etc/profile
在文件末尾添加如下内容:
export JAVA_HOME=/usr/java/default
export PATH=${JAVA_HOME}/bin:${PATH}
export HADOOP_PREFIX=/opt/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin
export PATH=$PATH:$HADOOP_PREFIX/sbin
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export YARN_HOME=${HADOOP_PREFIX}
使上述修改生效:[root@server-308 opt]# source /etc/profile
4.建立用户和组
[root@server-308 opt]# groupadd hadoop
[root@server-308 opt]# useradd -g hadoop yarn
[root@server-308 opt]# useradd -g hadoop hdfs
[root@server-308 opt]# useradd -g hadoop mapred
5.创建相关路径和文件
[root@server-306 opt]# mkdir -p /var/data/hadoop/hdfs/nn
[root@server-306 opt]# mkdir -p /var/data/hadoop/hdfs/snn
[root@server-306 opt]# mkdir -p /var/data/hadoop/hdfs/dn
[root@server-306 opt]# mkdir -p /opt/hadoop/logs
[root@server-306 opt]# mkdir -p /var/log/hadoop/yarn
[root@server-306 opt]# cd /opt/hadoop/logs
[root@server-306 logs]# chown hdfs:hadoop /var/data/hadoop/hdfs -R
[root@server-306 logs]# chown yarn:hadoop /var/log/hadoop/yarn -R
[root@server-306 logs]# chmod g+w /opt/hadoop/logs
[root@server-306 logs]# chown yarn:hadoop . -R
6.修改hadoop配置文件
vim /opt/hadoop/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.32.31:8020</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>hdfs</value>
</property>
</configuration>
7.修改hdfs-site.xml
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/var/data/hadoop/hdfs/nn</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:/var/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:/var/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/var/data/hadoop/hdfs/dn</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
8.修改mapred-site.xml
#cp mapred-site.xml.template mapred-site.xml
#vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
9.修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce.shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
格式化集群
su - hdfs
cd /opt/hadoop
./hdfs namenode -format
启动hdfs
cd ../sbin
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start secondarynamenode
./hadoop-daemon.sh start datanode
启动yarn
su - yarn
cd /opt/hadoop/sbin
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
分享到:
相关推荐
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客总结、分享、收获大数据 (http://dblab.xmu.
Hadoop安装教程_单机_伪分布式配置_CentOS6.4_Hadoop2.6
CentOS 6.4 安装 Oracle 11g,不是网络上拷贝,自己全程写下来的。
Centos6.4_安装oracle_11g教程,简单易懂,让你玩转oracle数据库
CentOS 6.4安装(超级详细图解教程)
CentOS6.4安装MySql5.5.27[文].pdf
centos6.4的安装镜像。可以下一个VM,安装流程百度一大堆。
CentOS 6.4安装配置LAMP服务器
CentOS 6.4安装(超级详细图解教程) 说明: 1、CentOS 6.4 系统镜像有两个,安装系统只用到第一个镜像即 CentOS-6.4-i386-bin-DVD1.iso(32 位) 或者 CentOS-6.4-x86_64-bin-DVD1.iso(64 位),第二个镜像是...
自己动手从开箱上架开始,Dell CentOS 6.4服务器安装Oracle VM VirtualBox 操作的文档
基于CentOS6.4系统下的SSH服务器和Telnet服务器搭建详细步骤,包括SSH远程登陆,SCP命令上传和下载文件,PUTTY工具的使用等...用于Linux课程作业使用
centos8安装hadoop3.3.docx
Centos6.4安装Oracle11G,图形化界面安装
虚拟机上安装CentOS6.4,文档很详细值得参考
Centos 6.4 安装Cacti 英文版.txt
VMware上的centos6.4虚拟机,直接下载解压导入即可使用
centos 6.4安装gcc和gcc++需要的全部包
64位CentOS 6.4安装网络监控ntopng.docx
CentOS6.4单用户下root密码破解
Centos6.4_64安装oracle11g详细图文及错误解决