一、官方网站下载zookeeper-3.4.5:http://www.apache.org/dyn/closer.cgi/zookeeper/
二、将下载得到的zookeeper-3.4.5.tar.gz放到指定的目录中,自己统一放在了/home/{用户名}下,tar解压缩,创建zookeeper链接ln -s zookeeper-3.4.5 zookeeper
三、设置环境变量:
为了方便运行zkServer.sh脚本,我们将zookeeper的bin路径加入到.bashrc中,作为一个变量进行输出到PATH中,记得修改完成之后断开链接,重新登录使修改生效。
export ZOOKEEPER_HOME=/home/{用户名}/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf
将.bashrc复制到其他节点
四、建立zookeeper配置文件(可以先在一个节点上配置,然后复制到其他节点即可)
进入到zookeeper的conf/中,将zoo_sample.cfg拷贝成zoo.cfg:
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
dataDir=/home/{用户名}/zookeeper-data
# the port at which the clients will connect
clientPort=2181
#下面是参与的4个节点
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
server.4=node4:2888:3888
端口2181,设置dataDir为一个指定目录存放zookeeper的协调数据,最后添加集群中的节点。接下来需要根据server.X的号码在相应的节点上的dataDir下建立myid文件,输入自身的“X”作为内容即可,比如node1节点上的myid只输入1即可。
五、复制zookeeper-3.4.5到其他各节点
这里使用scp -r zookeeper-3.4.5/ hadoop@node1:实现,注意每个节点的dataDir下的myid文件要修改成自身的Server-X号码
六、运行zkServer.sh
在所有节点上分别运行zkServer.sh start命令
这里需要注意第一个节点启动zookeeper时由于集群的其他节点未启动zookeeper,因此使用zkServer.sh status命令查看当前状态时会提示错误;但是随着后续节点的zookeeper的陆续启动,使用status查看状态时会显示当前节点的状态,有一个节点作为了leader。
相关推荐
zookeeper集群模式部署.pdf
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Slave 服务器部署 Supervisor 工作节点用于收听工作指派并基于要求运行工作进程,而 Nimbus 和 Supervisor 之间的协调则通过 Zookeeper 系统或者集群实现。 操作系统:统信服务器操作系统 Storm:2.2.0 Zookeeper:...
如何操作Redis和zookeeper实现分布式锁 在分布式场景下,有很多种情况都需要实现最终一致性。在设计远程上下文的领域事件的时候,为了保证最终一致性,在通过领域事件进行通讯的方式中,可以共享存储(领域模型和...
6.2.1. 本地模式安装部署 7 6.2.2. 配置参数解读 9 6.3. Zookeeper实战(开发重点) 10 6.3.1. 分布式安装部署 10 6.3.2. 客户端命令行操作 11 6.3.3. API应用 18 6.3.4. 箭头服务器节点动态上下线案例(扩展) 25 ...
ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。 1、Zookeeper...
FourInOne对于分布式大数据量并行计算的解决方案不同于复杂的hadoop,它不像hadoop的中间计算结果依赖于hdfs,它使用不同于map/reduce的全新设计模式解决问题。FourInOne有“包工头”,“农民工”,“手工仓库”的几...
ZooKeeper本身可以以Standalone模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。
hadoop集群完全分布式部署,从修改主机名开始,到搭建hive结束,按步骤操作,保证没问题。其中涉及到修改静态IP地址,安装zookeeper,部署hadoop,安装MySQL,安装hive(其中hive为远程模式安装)
它通过弹性调度、资源管控、以及作业治理的功能,打造一个适用于互联网场景的分布式调度解决方案,并通过开放的架构设计,提供多元化的作业生态。 它的各个产品使用统一的作业 API,开发者仅需一次开发,即可随意...
于是我将自己对分布式的理解融入到这个框架中,考虑到底层实现技术的相似性,我将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内,对复杂的分布式计算应用进行了大量简化和归纳。...
个人总结的集群搭建运行事例环境文档。...有spark standalone模式 yarn模式 zookeeper的搭建 还有分布式文件系统hdfs hadoop搭建,内存式文件系统alluxio。开发环境的搭建idea for scala 的配置 ,和打包事例
Java筑基(基础):Tomcat+Mysql+设计模式+并发编程+JVM+Netty开源框架(SSM框架):Spring+SpringMVC+Mybatis微服务架构:Dubbo、SpringBoot、SprinGCloud、Docker分布式:分布式限流+分布式缓存+分布式通讯(限流...
内置了服务注册与发现框 架、分布一致性协议实现、健康检查、Key/Value存储、多数据中心方案,不再需要依赖其他工具(比如ZooKeeper等)。服务部署简单,只有一个可运行的二进制的包。每个节点都需要运行agent,他有...
kafka最新版本3.1.0版本安装(使用zookeeper及使用kraft)两种安装及日常维护命令,kafka 3.0提出了去 [Zookeeper]后的 Kafka,即 KRaft 模式,本文对相关安装、维护、及新版本的一些更新进行说明
Dubbo管理中心及及监控平台安装部署 Dubbo分布式服务模块划分(领域驱动) 基于Dubbo的分布式系统架构实战 Dubbo负载均衡策略分析 Dubbo服务调试之服务只订阅及服务只注册配置 Dubbo服务接口的设计原则(实战...
13_dubbo分布式开发模式 14_dubbo的常用协议 15_dubbo常用协议的配置 16_dubbo启动时检查 17_dubbo负载均衡策略 18_dubbo多协议与多版本 19_dubbo服务分组 20_dubbo的token验证 21_dubbo的配置覆盖策略 22...
Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 三、Spark Spark Core : Spark 简介 Spark ...
本PPT是作为大学实践课教材,个人制作,现分享给大家!内容就是Hadoop高可用完全分布模式整个部署过程,zookeeper、Hadoop、Hbase等