hadoop 2.2.0 伪分布安装

 

Linux配置

1、配置ip地址：192.168.56.100/24

2、修改主机名：/etc/sysconfig/network

3、修改主机名和IP地址的映射：/etc/hosts

4、关闭防火墙：    service iptables stop、chkconfig iptables off

reboot

解压命令：tar -zxvf

 

 

安装jdk

解压jdk后，在/etc/profile文件中配置环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_79
export PATH=$PATH:$JAVA_HOME/bin

 然后source该文件，然后查看jdk的版本，看是否配置成功

[root@centos1 bin]# java -version
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build 1.7.0_79-b15)
Java HotSpot(TM) Client VM (build 24.79-b02, mixed mode)

安装hadoop2.2.0

到该地址去下载，找stable或current目录，该目录为稳定版

http://archive.apache.org/dist/
http://archive.apache.org/dist/hadoop/core/stable/ 

 解压文件，后开始配置hadoop，这里一共需要配置五个文件

文件一：hadoop-env.sh

位置：

hadoop-2.2.0/etc/hadoop

 配置：

export JAVA_HOME=/usr/java/jdk1.7.0_79

文件二：core-site.xml

位置：

hadoop-2.2.0/etc/hadoop

配置：

<configuration>
		<!-- 制定HDFS的老大（NameNode）的地址 -->
		<property>
			<name>fs.defaultFS</name>
			<value>hdfs://centos1:9000</value>
		</property>
		<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/usr/hadoop/hadoop-2.2.0/tmp</value>
     		</property>
</configuration>

 文件三：hdfs-site.xml

位置：

hadoop-2.2.0/etc/hadoop

配置：

<configuration>
		<!-- 指定HDFS副本的数量 -->
		<property>
			<name>dfs.replication</name>
			<value>1</value>
	        </property>
</configuration>

 文件四：mapred-site.xml

该文件并不存在，但是有一个mapred-site.xml.template存在，修改该文件的名称

mv mapred-site.xml.template mapred-site.xml

位置：

hadoop-2.2.0/etc/hadoop

配置：

<configuration>
		<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
       		</property>
</configuration>

 文件五：yarn-site.xml

位置：

hadoop-2.2.0/etc/hadoop

配置：

<configuration>
	<!-- 指定YARN的老大（ResourceManager）的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>centos1</value>
        </property>
		<!-- reducer获取数据的方式 -->
        <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
        </property>

</configuration>

在/etc/profile 中添加hadoop环境变量

export HADOOP_HOME=/usr/hadoop/hadoop-2.2.0
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

 格式化hdfs，hadoop  namenode -format 这个命令在hadoop2中已经过时了，格式化后会在hadoop-2.2.0/tmp目中生成一些文件

 hdfs namenode -format

 启动hadoop使用，这是需要属于秘密，每启动一个进程都需要输入一次密码

sbin/start-dfs.sh
sbin/start-yarn.sh

 启动后查看进程

[root@centos1 sbin]# jps
5129 SecondaryNameNode
5522 NodeManager
5552 Jps
5251 ResourceManager
4890 NameNode
4972 DataNode

 

192.168.56.100:50070 查看Namenode，访问Browse the filesystem时通过主机名，需要配置hosts文件

192.168.56.100:8088 查看yarn

 

 配饰ssh免密码

#目录
/root/.ssh
#生成rsa密钥和公钥
ssh-keygen -t rsa
#生成的文件
-rw-------. 1 root root 1675 Sep 19 10:21 id_rsa
-rw-r--r--. 1 root root  394 Sep 19 10:21 id_rsa.pub
#copy公钥到认证文件中，文件名必须为 authorized_keys
cp id_rsa.pub authorized_keys
#
-rw-r--r--. 1 root root  394 Sep 19 10:24 authorized_keys
-rw-------. 1 root root 1675 Sep 19 10:21 id_rsa
-rw-r--r--. 1 root root  394 Sep 19 10:21 id_rsa.pub
#把本机的公钥copy给对方主机
ssh-copy-id 对方主机地址