《Zookeeper3.4.6集群安装》
在安装Zookeeper之前,首先需要确保的就是主机名称(可选)、hosts都已经更改,并且JDK成功安装。
1、安装Zookeeper
使用命令“tar -zxvf”命令将gz压缩文件解压。笔者Zookeeper的安装目录为:“/home/hadoop”,解压后的Hadoop目录为/home/hadoop/zookeeper-3.4.6”,最好确保Master、Slave1、Slave2机器上的Zookeeper安装路径一致。
2、配置Zookeeper的环境变量
成功安装Zookeeper后,接下来要做的事情就是配置Zookeeper的环境变量,并通过命令“source “/etc/profile”命令使修改后的配置生效,如下所示:
#ZOOKEEPER ZOOKEEPER=/home/hadoop/zookeeper-3.4.6 PATH=$PATH:$ZOOKEEPER/bin
3、修改Zookeeper的配置文件
首先将/home/hadoop/zookeeper-3.4.6/conf/zoo_sample.cfg文件复制一份,并更名为zoo.cfg,如下所示:
# The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/home/hadoop/zk/data dataLogDir=/home/hadoop/zk/log # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=Master:3333:4444 server.2=Slave1:3333:4444 server.3=Slave2:3333:4444
server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。
根据dataDir和dataLogDir变量创建相应的目录。
4、创建myid文件
在dataDir目录下创建一个myid文件,然后分别在myid文件中按照zoo.cfg文件的server.A中A的数值,在不同机器上的该文件中填写相应的值。
5、启动Zookeeper
执行命令“zkServer.sh start”将会启动Zookeeper。在此大家需要注意,和在Master启动Hadoop不同,不同节点上的Zookeeper需要单独启动。而执行命令“zkServer.sh stop”将会停止Zookeeper。
开发人员可以使用命令“JPS”查看Zookeeper是否成功启动,以及执行命令“zkServer.sh status”查看Zookeeper集群状态,如下所示:
#192.168.1.224 JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower #192.168.1.225 JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: leader #192.168.1.226 JMX enabled by default Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg Mode: follower
Zookeeper集群在启动的过程中,查阅zookeeper.out,会有如下异常:
java.net.ConnectException: Connection refused at java.net.PlainSocketImpl.socketConnect(Native Method) at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339) at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200) at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182) at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392) at java.net.Socket.connect(Socket.java:579) at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368) at org.apache.zookeeper.server.quorum.QuorumCnxManager.toSend(QuorumCnxManager.java:341) at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.process(FastLeaderElection.java:449) at org.apache.zookeeper.server.quorum.FastLeaderElection$Messenger$WorkerSender.run(FastLeaderElection.java:430) at java.lang.Thread.run(Thread.java:745)
上述异常可以忽略,因为集群环境中某些子节点还没有启动zookeeper。
相关推荐
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6 搭建分布式集群环境详解。 详细介绍了如何搭建分布式集群环境。
zookeeper-3.4.6安装包,可以对分布式服务做集群管理,像dubbo
VMware10+CentOS6.5+Hadoop2.2+Zookeeper3.4.6+HBase0.96安装过程详解 用于解决分布式集群服务器
为了更快速的学习分布式开发,我们需要使用zookeeper伪分布式快速搭建模拟分布式环境
实现zookeeper搭建单机集群,分机器搭建也可以。只要更改这个配置文件就可以了 start(){ sh /Users/mac/linuxsoft/zk-cluster/zookeeper-3.4.6/bin/zkServer.sh start /Users/mac/linuxsoft/zk-cluster/zookeeper...
本文档详细介绍了如何用ZooKeeper和Hadoop、HBase搭建分布式大数据分析平台。
详细描述solrCloud单机以及单机伪集群在windows下的部署安装并配图。
ZooKeeper本质上是一个分布式...原本是Apache Hadoop的一个组件,现在被拆分为一个Hadoop的独立子项目,在Hbase(Hadoop的另外一个被拆分出来的子项目,用于分布式环境下的超大数据量的DBMS)中也用到了ZooKeeper集群。
ZooKeeper实现服务器集群的节点数据的共享、Leader仲裁选举。常用做数据发布与订阅、负载均衡、命名服务(Naming Service)、分布式通知/协调、集群管理与Master选举及分布式锁/队列等。
这是https://blog.csdn.net/qq_25615395/article/details/89176714 《集群安装ZooKeeper》这篇博客中使用到的工具
zookeeper集群安装,1. 在根目录创建zookeeper文件夹(service1、service2、service3都创建) [root@localhost /]# mkdir zookeeper 通过Xshell上传文件到service1服务器:上传zookeeper-3.4.6.tar.gz到/software...
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
ZooKeeper是一个高可用的分布式数据管理与系统协调框架,解决一致性等问题。如分布式中的高可用中的主节点的选择,CS架构中,有多台服务器,客户端对服务器的选择等应用场景。 节点选举: Master节点,主节点挂了之后...
详细描述solrCloud单机伪集群在windows下的安装与教程并附上步骤图解和相关软件的下载地址
该项目通过zookeeper三个节点Node服务客户端代码,实现zookeeper集群管理与Master选举功能示例,项目结构如下图所示,其中依赖包包含:log4j-1.2.14.jar、slf4j-api-1.7.2.jar、slf4j-log4j12-1.7.2.jar、zookeeper-...
例如,你可以选择HBase 1.4.6,配合Hadoop 2.7.6、ZooKeeper 3.4.6和JDK 1.8.0_171。 准备至少三个节点用于搭建HBase集群,分别命名为master、node1、node2。 安装Hadoop: 在所有节点上安装Hadoop。HBase需要在...
完全分布式集群hadoop2.7.7、hive2.3.6、hbase1.3.0、zookeeper3.4.6、jdk1.8+
5、将整个 zookeeper-3.4.6 scp到其他机器上 6、启动zookeeper 在每台机器上运行 bin/zkServer.sh start 查看运行状态:bin/zkServer.sh status Mode: leader Mode: follower 可以看出哪台为leader了
环境:window7 64位,zookeeper3.4.6 kafka版本:kafka_2.8.0-0.8.0 window 搭建开发kafka集群:我的集群目录:F:\liuzhiwen\cluster\tech\kafka_cluster 需要切换到指定的目录:命令行切换cd F:\liuzhiwen\cluster\...