1.安装软件
OS:centos6.5
Hadoop:hadoop2.6.0
Hbase:hbase.1.0.0
JDK: jdk1.7.0_51
集群机器:
192.168.153.130(hadoop130 namenode)
192.168.153.131 (hadoop131datanode)
192.168.153.132 (hadoop132datanode)
2.安装步骤
如下安装步骤假设的JDK已经安装,如果未安装请自行查找JDK安装教程。
2.1 安装hadoop
(1)下载hadoop版本(hadoop2.6.0),下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/
在此路径下选择相应的版本下载。
(2)解压hadoop-2.6.0.tar.gz
tar zxvf hadoop-2.6.0.tar.gz -C /home/hadoop001/thirdparty/
将hadoop解压到/home/hadoop001/thirdparty/ 目录下。
(3)将hadoop添加到环境变量中
vim ~/.bashrc 打开.bashrc文件添加HADOOP_HOME
exportJAVA_HOME=/home/hadoop001/thirdparty/jdk1.7.0_51
export PATH=$HADOOP_HOME/bin:$PATH
(4)修改配置文件($HADOOP_HOME/etc/hadoop目录下)
配置core-site.xml
配置hdfs-site.xml:
配置mapred-site.xml文件
配置yarn-site.xml文件
修改slaves文件,添加datanode节点hostname到slaves文件中
hadoop131
hadoop130
(5)格式化集群,在hadoop130节点上执行如下命令:
hadoopnamenode -format
(6)启动集群,在hadoop130节点上执行如下命令:
start-all.sh
(7) 通过浏览器查看hadoop是否安装成功:
输入:
http://hadoop130:50070
输入:http://hadoop130:8088/
2.2 安装Hbase
(1)下载hbase版本
下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.0.0版本
(2)解压hbase-1.0.0-bin.tar.gz
tar zxvf hbase-1.0.0-bin.tar.gz –C/home/hadoop001/thirdparty/
(3)将hbase添加到环境变量中
exportHBASE_HOME=/home/hadoop001/thirdparty/hbase-1.0.0
export PATH=$HBASE_HOME/bin:$PATH
(4)修改配置文件
修改hbase-env.sh
exportJAVA_HOME=/home/hadoop001/thirdparty/jdk1.7.0_51
修改hbase-site.xml
备注:
在上面的配置文件中,第一个属性指定本机的hbase的存储目录;第二个属性指定hbase的运行模式,true代表全分布模式;第三和第四个属性是关于Zookeeper集群的配置。我的Zookeeper安装在hadoop130,hadoop131和hadoop132上。
修改regionservers,在regionservers文件中添加如下内容:
hadoop131
hadoop130
(5)启动hbase
启动hbase时要确保hdfs已经启动。在主节点上执行:
start-hbase.sh
启动成功后集群会多出如下进程:
NameNode节点:
Datanode节点:
通过浏览器查看:
输入:http://hadoop130:16030
2.3 Hbase shell测试
(1)执行hbase shell 命令:
(2)创建testtable表
create 'testtable', 'colfaml'
(3)put数据
hbase shell是基于Ruby实现的,因此使用过程中可以将hbase shell与Ruby代码混合使用,此示例参考《HBase权威指南》p-66页shell介绍。
for i in 'a'..'z' do for j in 'a'..'z' do \
put 'testtable' , "row-#{i}#{j}","colfaml:#{j}" ,"#{j}" end end(4)查看插入数据
scan 'testtable'
部分结果截图:
3.常用参数(待续)
4.备注
目前安装所有配置都是最简配置,并没有考虑参数优化,此教程的目的是让Hbase先跑起来,优化后期继续做。
分享到:
相关推荐
记录我的学习之旅,每份文档倾心倾力,带我成我大牛,回头观望满脸笑意,望大家多多给予意见,有问题或错误,请联系 我将及时改正;借鉴文章标明出处,谢谢
hadoop3.x分布式平台搭建、HBase分布式集群安装与配置
HBase伪分布式环境搭建及数据操作测试 本人成功搭建伪分布式的操作以及截图
HBase 1.2 分布式安装分享
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...
资源描述:妳那伊抹微笑_云计算之Hadoop-2.2.0+Hbaase-0.96.2 +Hive-0.13.1完全分布式环境整合安装文档V1.0.0.docx 博客地址:http://blog.csdn.net/u012185296 技术方向:Flume+Kafka+Storm+Redis/Hbase+Hadoop+...
#资源达人分享计划#
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
《Hadoop大数据开发实战》教学教案—08HBase分布式存储系统.pdf《Hadoop大数据开发实战》教学教案—08HBase分布式存储系统.pdf《Hadoop大数据开发实战》教学教案—08HBase分布式存储系统.pdf《Hadoop大数据开发实战...
hadoop2.6及hbase0.96伪分布式安装配置文件
这个文档是我自己整理的,一步一步写的,我已实现了hbase分布式的搭建,原创的东西,独一无二,步骤非常详细,绝对容易上手,好的东西才要分享,真心值得。hbase完全分布式搭建,这个文档就足够了。
一、Hbase数据库概述; 二、Hbase体系结构; 三、Hbase数据库模型; 四、总结Hbase整体特点; 五、案例:搭建Hbase分布式数据库系统
Hadoop2.7.5-HBase1.2.6伪分布式安装文档,非常全面 适合新手入门搭建测试,1积分贱卖。童叟无欺哟(^U^)
hadoop2.7分布式完全安装配置手册,含hbase1.2安装配置,图文并茂,一看就会。
基于hadoop+hbase+springboot实现的分布式网盘系统,适合本科毕业设计 资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户...
HBase伪分布式安装及简单使用.pdf
Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase) 一、Hadoop HA高可用集群...通过规划服务器环境、选择合适的版本组合、安装和配置Zookeeper、Hadoop和HBase三个组件,可以搭建一个高效的Hadoop HA高可用集群。
基于HBase的分布式空间数据库技术,利用Hbase构建分布式空间数据库
本文档详细介绍了如何用ZooKeeper和Hadoop、HBase搭建分布式大数据分析平台。