10分钟搭建Hadoop集群
1. 准备
3台Linux机器或虚拟机,安装了CentOS6/Redhat6/Ubuntu;
在所有机器上都安装了ssh和rsync,ubuntu安装例子:
$ sudo apt-get install ssh $ sudo apt-get install rsync
|
安装java。
2. 规划节点:
将其中一台机器作为master作为NameNode,另外两台作为DataNode,命名3台机器为:node1,node2,node3,这里将node1作为NameNode,node2,node3作为dataNode;
在所有机器的/etc/hosts中加入hostname配置信息,加入如下例子中的红色部分:
127.0.0.1 localhost
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.1.11 node1
192.168.1.12 node2
192.168.1.13 node3
|
3. 环境准备:
为方便管理和安装,在所有机器上创建同一个hadoop用户,以下所有操作都在此账户下进行。
设置无密码登陆,在node1上创建public密钥,并将public密钥copy到其他节点机器,并将public密钥导入到所有机器(包括本机):
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
|
导入密钥后,在node1上,分别用ssh localhost;ssh node1;ssh node2;ssh node3测试密钥安装正确,并能无密码登陆。
规划hadoop数据目录,在所有机器上创建如下目录:
$ mkdir ~/data
$ mkdir ~/data/hdfs
$ mkdir ~/data/hdfs/name #namenode
$ mkdir ~/data/hdfs/data #datanode
$ mkdir ~/data/hdfs/tmp #临时文件夹
|
修改配置文件:
hadoop-1.0.4/conf/hadoop-env.sh 中指定JAVA_HOME:
# The java implementation to use. Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
export JAVA_HOME=/opt/java/jdk1.6.0_24
# Extra Java CLASSPATH elements. Optional.
# export HADOOP_CLASSPATH=
|
hadoop-1.0.4/conf/core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hdfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://node1:9000</value>
</property>
|
hadoop-1.0.4/conf/hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/data/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/data/hdfs/data</value>
</property>
|
hadoop-1.0.4/conf/mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>node1:9001</value>
</property>
<property>
<name>mapreduce.jobtracker.system.dir</name>
<value>/home/hadoop/data/hdfs/mapred/system</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/home/hadoop/data/hdfs/mapred/local</value>
</property>
|
hadoop-1.0.4/conf/masters
hadoop-1.0.4/conf/slaves
4. 同步hadoop所有软件和配置到其他机器
创建目标机器列表文件,并加入目标机器名:/home/hadoop/servers
创建同步脚本:/home/hadoop/cp_hadoop
for host in `cat servers`
do
echo ------------------------------------------------------------------
echo rsync host: $host
ssh $host 'rm -fr /home/hadoop/hadoop-1.0.4'
rsync -avz/home/hadoop/hadoop-1.0.4 $host:/home/hadoop/hadoop-1.0.4
done
|
执行同步脚本: $ ./cp_hadoop
5. 启动所有服务:
$ cd/home/hadoop/hadoop-1.0.4/bin
$ ./start_all.sh
|
6. 访问web界面验证安装:
-
NameNode-http://node1:50070/
-
JobTracker-http://node2:50030/
分享到:
相关推荐
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
从零开始一步步介绍如何搭建Hadoop集群
基于Docker搭建Hadoop集群(2).docx
大数据教程之搭建Hadoop集群.zip
搭建hadoop集群的全部配置文件,全在里面了,跟我的文章配合起来用
摘要:本文将详细介绍如何使用 IBCS 虚拟专线搭建 Hadoop 集群,同时阐述 IBCS 虚拟专线 在提高 Hadoop 集群性能和稳定性方面的优势。使用 IBCS 虚拟专线搭建 Hadoop 集群具有显著的优势。企业可以通过 IBCS 虚拟 ...
hadoop搭建集群笔记.虚拟机搭建hadoop集群
该文档提供了linux环境中搭建hadoop集群(大数据)的步骤,个人认为比较详细,供大家学习
超详细集群搭建教程(从虚拟机安装到集群搭建完成,集群搭建成功验证),每一个步骤都有,照做即可。 内有集群搭建所需安装包:hadoop2.2.0,zookeeper3.4.5
Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...
LinuxRedHat、CentOS上搭建Hadoop集群.pdf
搭建了一个完全分布式Hadoop集群,并通过Java写了mapreduce程序处理数据,需要下载的可以找我要具体数据。
Hadoop集群构建实训报告
本章首先对Ambari做简单介绍,然后详细介绍了Ambari的安装,以及如何使用Ambari搭建Hadoop集群,最后阐述了Ambari的架构和工作原理。 本章主要内容如下。 (1)Ambari简介。 (2)Ambari的安装。 (3)利用Ambari...
hadoop集群环境的搭建
适用于初学者徒手搭建hadoop集群,文档细致,完全傻瓜模式,非常好用
基于haodoop 集群搭建hbase集群。(2台机器的情况。)
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例,介绍如何使用Cloudera Manager自动搭建Hadoop相关集群,简化为多台服务器搭建Hadoop集群工作,提高工作效率。至于如何使用Cloudera Manager来管理...
资源名称:云计算Hadoop:快速部署Hadoop集群内容简介: 近来云计算越来越热门了,云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源,并按使用量付费。可以...
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。