1,环境说明
机器是三台,都是linux RHEL6系统,三台机器的IP是192.168.1.99、192.168.1.98、192.168.1.97。
各自设置主机名
192.168.1.99 namenode
192.168.1.98 datanode1
192.168.1.97 datanode2
设置主机名的方法:
http://stranger2008.iteye.com/blog/1825953
每台机器都已经安装好了java,安装目录在/usr/local/java,安装方法:
http://stranger2008.iteye.com/blog/1820548
在每台机器上的/etc/hosts内加入以下代码:
192.168.1.99 namenode 192.168.1.98 datanode1 192.168.1.97 datanode2
2,设置SSH无密码登录
hadoop运行集群需要各机器支持ssh无密码登录,我这里直接用root登录。
进入root主目录,执行生成密钥代码
#cd ~ #ssh-keygen -t rsa
执行以上代码,一直回车即可,在root的主目录下会生成.ssh文件夹,文件夹内包括两个文件id_rsa.pub和id_rsa。
以上这步操作每台机器都相同的做一遍。
生成id_rsa.pub和id_rsa这两个文件后,在本地创建一个文件authorized_keys,再把三台服务器上的id_rsa.pub下载下来,并把里面的内容都加到authorized_keys文件里,然后在把authorized_keys上传到各个服务器的/root/.ssh/目录下。
然后试着连接即可,本机也可以连自己,第一次连接需要输入密码,后面就不需要了。
ssh namenode ssh datanode1 ssh datanode2
3,安装hadoop
下载地址:
http://labs.xiaonei.com/apache-mirror/hadoop/core/hadoop-0.20.1/hadoop-0.20.2.tar.gz
a,创建安装目录
mkdir /usr/local/hadoop/
b,解压安装文件hadoop-0.21.0.tar放入到安装目录
tar -zxvf hadoop-0.21.0.tar
c,设置环境变量
/etc/profile增加如下内容
#config hadoop export HADOOP_HOME=/usr/local/hadoop/ export PATH=$HADOOP_HOME/bin:$PATH #hadoop logs file path export HADOOP_LOG_DIR=${HADOOP_HOME}/logs
让设置生效: source /etc/profile
d,设置主从配置
/usr/local/hadoop/conf/masters的配置如下:
namenode
/usr/local/hadoop/conf/slaves的配置如下:
datanode1 datanode2
e,修改配置文件
/usr/local/hadoop/conf/hadoop-env.sh
把JAVA_HOME该为安装jdk的路径
# The java implementation to use. Required. export JAVA_HOME=/usr/local/java/
core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://Namenode:9000/</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp/</value> </property> </configuration>
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> #set bak file number <value>1</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>Namenode:9001</value> </property> </configuration>
f,初始化Hadoop
#cd /usr/local/hadoop/ #./bin/hadoop namenode -format
以上a-f的步骤三台机器一模一样做一遍。
4,在namenode机器上启动hadoop
#cd /usr/local/hadoop/ #./bin/start-all.sh
启动后用命令JPS查看结果如下:
[root@namenode hadoop]# jps
1806 Jps
1368 NameNode
1694 JobTracker
1587 SecondaryNameNode
然后到Datanode1/2上去查看,执行JPS,结果如下:
[root@datanode2 hadoop]# jps
1440 Jps
1382 TaskTracker
1303 DataNode
[root@datanode2 hadoop]# jps
1382 TaskTracker
1303 DataNode
1452 Jps
说明你成功集群安装了Hadoop
5,查看状态
查看集群状态:$ hadoop dfsadmin -report
Hadoop 的web 方式查看:http://192.168.1.99:50070
http://192.168.1.99:50030 可以查看运行的job和结果
相关推荐
linuxhadoop配置[归纳].pdf
Linux基本常用命令,ssh无密钥登录,Linux安装hadoop,hadoop集群搭建
windows+linux双系统的安装,hadoop集群的安装配置,单机环境和多机环境的配置安装
linux下的hadoop安装及配置详解
资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...
Linux Hadoop 分布式配置 和使用 Hadoop分布式配置 Hadoop使用: HDFS、Hadoop用户管理、Hadoop作业提交、Hadoop应用程序编写
这是在单机上的Cent-OS 系统中以Hadoop伪分布式形式进行安装和配置的过程,并收集和整理了Hadoop运维常用操作命令。 非常适合没有集群环境的初学者入门使用。
linux hadoop集群简单几步完成SSH配置。 不可思议。真的很简单。
Linux Hadoop 伪分布式配置 一个节点,线程模仿分布式
Linux下Hadoop单机配置,供大家参考学习!
这是在5台虚拟机上测试可行的;用于hadoop在linux环境下的集群搭建
亲测自己配置的Linux中安装配置hadoop集群
这些文档中包括了VMWare虚拟机的安装、Linux系统的安装与配置,SSH连接配置和FTP服务的配置。还包括了Hadoop的安装与配置,其中包括了JDK的安装与配置,在Linux下安装hadoop以及基于伪分布式系统的Hadoop配置等。
在VMWare中安装好Linux操作系统,并自动配置好VMWare tools后。 需要设置共享文件夹以便与windows系统互相传输文件,Hadoop安装配置流程图解
Hadoop配置手册,详细介绍hadoop的配置 系统环境配置 假定有 3 台机器,机器上均按照了 Ubuntu 操作系统: 192.168.1.138 hadoop-master //作为 Hadoop 的主机用 192.168.1.140 hadoop-node1 //作为 Hadoop 的数据...
该文档是本人亲自试验过的,包含虚拟机centOS6.5系统的下载,安装,jdk配置,hadoop安装诸多内容。版权所有,未经许可,不得转载。
教大家怎么安装Hadoop的一个文档: 1、掌握Linux虚拟机的搭建; 2、掌握Linux的常用命令及操作; 3、熟练掌握Hadoop安装及配置; 4、了解Hadoop的简单应用。
数据科学导论 实验1:常用Linux操作和 Hadoop操作 1、Linux虚拟机安装和操作 2、Hadoop安装和操作 1)创建Hadoop用户 2)SSH登录权限设置 3)安装Java环境 4)单机安装配置 5)伪分布式安装配置
hadoop安装、配置经验。对搭建hadoop平台很有帮助
hadoop2.7.3安装配置 前提条件:1. 拥有Linux环境 2. 有良好的网络