zookeeper集群在部署的时候,节点数量必须是比少于3个的奇数个。
1 zookeeper伪分布式(3个节点)
1.1 解压zookeeper安装包
tar -zxvf zookeeper-3.4.5.tar.gz
1.2 cp conf/zoo_sample.cfg zoo1.cfg
vi zoo1.cfg
dataDir=/usr/local/zookeeper/zoo1/data
clientPort=2181
server.1=hadoop:2888:3888
server.2=hadoop:2889:3889
server.3=hadoop:2889:3889
1.3 cp zoo1.cfg zoo2.cfg
...zoo2/data
...2182
1.4 cp zoo1.cfg zoo3.cfg
...zoo3/data
...2183
1.5 产生存储数据的目录,并产生标记文件
mkdir -p zoo1/data
echo '1' > zoo1/data/myid
mkdir -p zoo2/data
echo '2' > zoo2/data/myid
mkdir -p zoo3/data
echo '3' > zoo3/data/myid
1.6 bin/zkServer.sh start conf/zoo1.cfg
bin/zkServer.sh start conf/zoo2.cfg
bin/zkServer.sh start conf/zoo3.cfg
1.7 执行zk操作使用bin/zkCli.sh
---------------华丽的分割线-------------------
2 部署zookeeper集群(hadoop\hadoop1\hadoop2)
2.1 在hadoop上解压缩zookeeper-3.4.5.tar.gz
2.2 cp zoo_sample.cfg zoo.cfg
2.3 vi zoo.cfg
dataDir=/usr/local/zookeeper/data
clientPort=2181
server.0=hadoop:2888:3888
server.1=hadoop:2889:3889
server.2=hadoop:2889:3889
2.4 产生存储数据的目录,并产生标记文件
mkdir -p /usr/local/zookeeper/data
echo '0' > /usr/local/zookeeper/data/myid
2.5 scp -rq /usr/local/zookeeper hadoop1:/usr/local
scp -rq /usr/local/zookeeper hadoop2:/usr/local
2.6 在hadoop1上分别修改标记文件
echo '1' > /usr/local/zookeeper/data/myid
在hadoop2上分别修改标记文件
echo '2' > /usr/local/zookeeper/data/myid
2.7 在三台机器上启动 bin/zkServer.sh start
2.8 检查 jps ,产生QuorumPeerMain进程
bin/zkServer.sh status 一个leader,二个follower
---------------华丽的分割线-------------------
3 hbase的伪分布(只有一个节点,使用自己的zookeeper实例)
3.1 解压安装包
tar -zxvf hbase-0.94.7-security.tar.gz
3.2 vi conf/hbase_env.sh
export JAVA_HOME=/usr/local/jdk
export HBASE_MAMAGES_ZK=true
3.3 vi conf/hbase.site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop</value>
</property>
3.4 保证hdfs正常运行,start-all.sh
bin/start_hbase.sh
3.5 检查进程jps
HQuorumPeer HMaster HRegionServer
---------------华丽的分割线-------------------
4 搭建hbase集群(hadoop作为主节点,hadoop1和hadoop2作为从节点)
4.1 解压 hbase-0.94.7-security.tar.gz
4.2 编辑文件conf/hbase-env.sh 修改内容
export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=false
4.3 编辑文件conf/hbase-site.xml 修改内容
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop0,hadoop1,hadoop2</value>
</property>
4.4 编辑 conf/regionservers 修改内容
hadoop1
hadoop2
4.5 scp -rq hbase/ hadoop1:/usr/local
scp -rq hbase/ hadoop2:/usr/local
4.6 确保hdfs,zookeeper集群正常启动,在hadoop上启动hbase
bin/start-hbase.sh
4.7 检查进程jps hadoop新增HMaster,从节点新增HRegionServer
查看http://hadoop0:60010
分享到:
相关推荐
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
在Linux虚拟机下的Hadoop集群上配置和安装hbase和zookeeper,
HBase即Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在普通的PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用...
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
zookeeper伪集群安装流程,在一台机器上安装三个集群节点操作步骤。
徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6 搭建分布式集群环境详解。 详细介绍了如何搭建分布式集群环境。
本文档详细介绍了如何用ZooKeeper和Hadoop、HBase搭建分布式大数据分析平台。
安装和配置Zookeeper需要下载和解压缩Zookeeper安装包,并配置zoo.cfg文件,指定数据目录和集群主机及端口等信息。 五、安装和配置Hadoop和HBase 安装和配置Hadoop和HBase需要下载和解压缩安装包,并配置相关的...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建是大数据处理和存储的重要组件,本文档将指导用户从零开始搭建一个完整的Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境。 硬件和软件要求 为搭建Hadoop2.2+...
数据仓库hadoop+zookeeper+hbase集群安装方法记录,自己搭建纯手写的记录。相关软件请自行下载
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
根据实战安装步骤,详细描述hadoop3.2.1、hive3.1.2(包括mysql5.7)、zookeeper3.6、hbase2.2.4、flume1.90、sqoop1.4.7各组件安装步骤,记录过程中的各种坑,方便各位看官快速安装部署hadoop伪分布集群。
zookeeper+hbase集群搭建+搭建过程报错解决+原理,通俗易懂,详细配置注解!!!
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
2. JDK安装部署 3. Zookeeper安装部署 4. Nginx安装部署 5. Hadoop安装部署 6. HBase安装部署 7. MongoDB数据库安装部署; 8. ElasticSearch集群安装部署; 9. 应用服务器的安装及部署
HBase安装有三种模式:单机模式、伪分布模式和完全分布式模式。在这里,我们只介绍完全分布式模式。前提是Hadoop集群和Zookeeper已经安装完毕,并能正确运行。 2. 配置HBase环境变量 在配置HBase之前,需要配置...
人工智能-Hadoop
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤
包含安装文件下载安装文件下载http://pan.baidu.com/share/link?shareid=663788401&uk=1947167851 linux下载http://pan.baidu.com/share/link?shareid=670839034&uk=1947167851