HBase安装
HBase的安装也有三种模式:单机模式、伪分布模式和完全分布式模式,在这里只介绍完全分布模式。前提是Hadoop集群和Zookeeper已经安装完毕,并能正确运行。
第一步:下载安装包,解压到合适位置,并将权限分配给hadoop用户(运行hadoop的账户)
这里下载的是hbase-1.2.2,Hadoop集群使用的是2.7.2,将其解压到/usr/local下并重命名为hbase
wget http://mirror.bit.edu.cn/apache/hbase/1.2.2/hbase-1.2.2-bin.tar.gz sudo cp hbase-1.2.2-bin.tar.gz /usr/local sudo tar -zxf hbase-1.2.2-bin.tar.gz sudo mv hbase-1.2.2 hbase sudo chown -R hadoop:hadoop hbase
第二步:配置相关的文件
(1)配置hbase-env.sh,该文件在/usr/local/hbase/conf
export JAVA_HOME=/usr/local/java/jdk1.8.0_77 #Java安装路径 export HBASE_CLASSPATH=/usr/local/hadoop/conf #HBase类路径 export HBASE_MANAGES_ZK=true #由HBase负责启动和关闭Zookeeper
(2)配置hbase-site.xml,该文件位于/usr/local/hbase/conf
<property>
<name>hbase.master</name>
<value>master:6000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master,node1,node2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
其中,hbase.master是指定运行HMaster的服务器及端口号;hbase.master.maxclockskew是用来防止HBase节点之间时间不一致造成regionserver启动失败,默认值是30000hbase.rootdir指定HBase的存储目录;hbase.cluster.distributed设置集群处于分布式模式;hbase.zookeeper.quorum设置Zookeeper节点的主机名,它的值个数必须是奇数;hbase.zookeeper.property.dataDir设置Zookeeper的目录,默认为/tmp;dfs.replication设置数据备份数,集群节点小于3时需要修改,本次试验是一个节点,所以修改为1
(3)配置regionservers,该文件位于/usr/local/hbase/conf
设置所运行HBase的机器,此文件配置和hadoop中的slaves类似,一行指定一台机器,本次试验仅用一台机器,设置master即可。
node1 node2
(4)设置HBase环境变量,文件位于/etc/profile在文件末尾添加:
#hbase Env export HBASE_HOME=/usr/local/hbase export PATH=$PATH:$HBASE_HOME/bin
使之生效:source /etc/profile
(5)修改hadoop集群及hbase集群pid文件存放位置(如果不设置话),停止hbase集群会报如下错误
stopping hbasecat: /var/hadoop/pids/hbase-hadoop-master.pid: 没有那个文件或目录
- 在集群各个节点的/var目录下创建一个文件夹
sudo mkdir -p /var/hadoop/pids chown -R hadoop:hadoop /var/hadoop
- 修改hadoop-env.sh(/usr/local/hadoop/etc/hadoop/hadoop-env.sh)
export HADOOP_PID_DIR=/var/hadoop/pids
- 修改yarn-env.sh(/usr/local/hadoop/etc/hadoop/yarn-env.sh)
export YARN_PID_DIR=/var/hadoop/pids
- 修改hbase-env.sh(/usr/local/hbase/conf/hbase-env.sh)
export HBASE_PID_DIR=/var/hadoop/pids
第三步:同步hbase到其他机器
scp -r hbase hadoop@node1:/usr/local scp -r hbase hadoop@node2:/usr/local
第四步:启动hadoop和hbase集群(启动顺序hadoop>hbase)
start-all.sh start-hbase.sh
第五步:查看pid文件(/var/hadoop/pids)
master机器
hadoop-hadoop-namenode.pid hadoop-hadoop-secondarynamenode.pid hbase-hadoop-master.pid hbase-hadoop-master.znode hbase-hadoop-zookeeper.pid yarn-hadoop-resourcemanager.pid
slave机器
hadoop-hadoop-datanode.pid hbase-hadoop-regionserver.pid hbase-hadoop-regionserver.znode hbase-hadoop-zookeeper.pid yarn-hadoop-nodemanager.pid
第六步:查看hbase运行情况
hadoop@master:/var/hadoop/pids$ jps 26499 ResourceManager 26995 HQuorumPeer 27059 HMaster 27339 Jps 26123 NameNode 26335 SecondaryNameNode hadoop@node1:/var/hadoop/pids$ jps 10678 HQuorumPeer 10775 HRegionServer 10362 DataNode 10493 NodeManager 10990 Jps
第七步:关闭hbase集群(关闭顺序hbase>hadoop)
stop-hbase.sh stop-all.sh
相关推荐
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
搭建hadoop单机版+hbase单机版+pinpoint整合springboot
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
[Doker+HBASE+HADOOP+Zookeeper]全分布式环境搭建
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
大数据 hadoop spark hbase ambari全套视频教程(购买的付费视频)
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例.txt基于Flume+Kafka+Hbase+Flink+FineBI的实时综合...
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。 注意事项:请严格按照文档操作,作者已经按照文档操作实现环境搭建。 内附百度网盘下载地址,有hadoop+zookeeper+...
Centos+Hadoop+Hive+HBase
nutch2.3+hbase0.94.14+hadoop1.2.1安装文档.txt )
大数据hbase测试项目, String boot + hadoop + hbase 的一个测试项目 1.jdk路径不能有空格,中文 2.spring 示例官方xml配置中需有调整,避免 delete xxx 异常。 3.maven本地版本不能小于cm上hadoop、hbase版本。
Hadoop+HBase+Hive+lucene分布式搜索引擎分析系统
基于haodoop 集群搭建hbase集群。(2台机器的情况。)
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)