目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”),对于国内而言,绝大多数选择CDH版本。
搭建环境:CentOS6.5 + CDH5 + JDK7
主:192.168.157.130 master
从:192.168.157.131 slave1
从:192.168.157.132 slave2
----------------------------------------------------------------------------------------------------
Step 1:关闭防火墙
a、查看防火墙是否关闭:
service iptables status
service ip6tables status
b、暂时关闭防火墙:
service iptables stop
service ip6tables stop
c、永久关闭防火墙:
chkconfig iptables off
chkconfig ip6tables off
Step 2:关闭SELinux
a、查看SELinux状态:
/usr/sbin/sestatus –v 或 getenforce
vim /etc/selinux/config
或
vim /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled
Step 3:修改HostName
a、修改hostname:
vim /etc/sysconfig/network(主:master,从1:slave1,从2:slave2)
b、修改每台机器上的/etc/hosts文件:
192.168.157.130 master
192.168.157.131 slave1
192.168.157.132 slave2
Step 4:配置SSH免密码功能(master上root用户执行)
a、生成ssh的公共和私有密钥对:
ssh-keygen -t rsa
生成的过程中提示输入密钥对保存位置,直接回车,接受默认值就行了。接着会提示输入一个不同于你的password的密码,直接回车,让它空着。当然,也可以输入一个。
其中,公共密钥保存在 ~/.ssh/id_rsa.pub 私有密钥保存在 ~/.ssh/id_rsa
b、将authorized_keys拷贝到其他几台Slave上:
(可能会出现权限问题,请确保关闭防火墙,且互相之间配置了主机信任)
scp ~/.ssh/authorized_keys root@slave1:~/.ssh/
scp ~/.ssh/authorized_keys root@slave2:~/.ssh/
c、三台主机重启,测试免密功能是否配置成功:
ssh slave1
ssh slave2
没有提示输入密码,就表示成功了,最后可以通过”exit”退出ssh
Step 5:安装JDK(请根据CDH版本选择对应JDK,本次安装采用JDK7)
b、安装
rpm -ivh jdk-7u51-linux-x64.rpm
c、添加java环境变量
vim /etc/profile
d、在/etc/profile文件里添加以下内容:
JAVA_HOME=/usr/java/latest
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export JAVA_HOME CLASSPATH
e、最后执行source,是环境变量生效
source /etc/profile
Step 6:安装ntp服务(视具体情况)
hadoop集群对于时间同步非常严格,请查看本集群主机时钟是否同步,如已存在ntp同步服务,则可以跳过此步骤。
Step 7:创建hadoop用户
a、创建用户和组:(根据实际情况创建)
groupadd hdfs
useradd hadoop -g hdfs
passwd hadoop
b、赋予hadoop用户sudo权限:
visudo
c、添加如下内容:
hadoop ALL=(ALL) ALL
相关推荐
hadoop-2.5.0-cdh5.3.6集群搭建-附件资源
cdh-hadoop版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.13.0.tar.gz
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步:查看Hadoop支持的压缩方式以及本地库 cd /...
用于Hadoop搭建安装包
使用CDH搭建hadoop集群,yarn集群,内附详细搭建流程,并记录了里面踩过的一些坑。
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建,还有自动化启动脚本。只需要复制粘贴命令,就可以完成。3台机器。相关资源可以留言发邮件,我发资料。cdh...
hadoop cdh版本伪分布式集群搭建详细图文教程
3.环境搭建-Hadoop(CDH)集群搭建-附件资源
而CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,全称Cloudera’s Distribution, including Apache Hadoop。 CDH提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR),还...
这是一款应用于大数据的工具,这是一个包,能搭建集群,可以用于云计算。
CDH搭建hadoop环境文档指南,本文档是搭建基于CDH的 hadoop开发环境的文档,详细描述了如何搭建CDH的环境,同时还有其他环境的搭建,如jstorm,ElasticSearch等
该文档描述了在虚拟机上的cdh的部署方案,用于测试环境,同时该方法对实际环境部署也有实际的指导意义。 方案概述 采用在VM虚拟机上搭建方案,虚拟机环境VMware Workstation Pro12;虚拟三台机器方案,一主两备;每...
1.关闭防墙 service iptables stop 2.关闭selinux 3.修改主机名 4.ssh密码拷数据 5.设置主机名和IP对应 1.单个节点逐
CDH5 Hadoop集群完全离线安装说明
整理企业级Hadoop_CDH集群的搭建步骤和常见问题解决方案,包括环境配置,安装步骤和使用方法,最后将搭建过程中的常见错误做了总结和解释
(CDH5.13.1)hadoop集群搭建手册,搭建流程都有包括,强烈推荐
Hadoop安装部署手册,使用CDH在线离线部署大数据集群环境
hadoop离线安装指导手册。环境配置,网络配合,服务器搭建部署