当配置一个集群时,我们需要为每一个server配置好时间相关的参数,并指定一个server列表,这样server之间就能彼此连接并检测失败。这些配置必须在所有server中保持一致。
initLimit
此值的作用是一个follower初始化连接到leader的超时时间,单位是tickTime。
当一个follower对leader发起一个初始化连接时,可能会有很多数据要传输,特别是如果follower的数据很陈旧时,可以根据网络延迟和数据量的大小来决定这个配置。如果数据量很大的话(例如znode的数量很多或者数据很大)或者网络特别慢的话,需要增大这个值。因为这个值跟你的环境相关,所以没有默认值。你应该选择一个合适的值让最大的快照文件可以顺利传输,你可能有不止一个快照文件,你可能会把这个配置值再翻倍。如果设置得过大的话,会在初始化连接上花费过多时间导致失败,这会增加recovery的时间。因此需要根据你的实际情况进行一个benchmark来决定这个值。
syncLimit
此值的作用是follower与leader的同步数据的超时时间,单位是tickTime。
follower总是会稍稍落后于leader,但是如果落后得太多的话,由于系统负载过高或者网络问题。如果leader同步的时间超过此配置项的话,则会被leader抛弃。就像initLimit一样,syncLimit没有默认值,必须要配置它。但又不像initLimit那样依赖于存储的数据量,而只依赖于网络的延迟和吞吐量。在高延迟网络它会花更多的时间来发送和接收数据,这样自然要增加syncLimit。即使延迟相对低一些你也可能需要增大syncLimit,因为可能会相对较大的事务需要传输。
leaderServes
此选项决定leader是否会为client提供服务(zookeeper.leaderServes)。
一个集群中的leader会有很多工作要做,需要跟所有的follower沟通,并执行所有的update操作。这意味着leader的负载比follower要重。如果leader过载的话,那么整个系统可能会遭殃。
如果此配置项设置为no,那么leader就不会为client提供服务,全心全意的处理follower发送的update操作,这样会增加update操作的吞吐量。另一方面,如果leader如果不处理client请求的话,那么就会由follower们来分担,如果集群中的server数量过少的话这会是个问题。此参数默认值为yes。
server.x=[hostname]:n:n[:observer]
集群中的server需要知道互相之间如何通信,这是通过给定的x的值来指定的,x就是server的ID(一个整数)。当一个server启动时,会从数据目录中的myid文件获取x的值,server.x就代表myid文件的整数。如果当前server需要跟另一个server通信,它会使用server.y找到对应的信息进行通信。
hostname就是server的名字,还有2个TCP端口号。第一个端口是用来发送事务数据的,就是follower与leader进行数据通信的端口。第二个用来选举leader。通常设置为2888:3888。如果observer出现在最后一个字段的话,当前server就以observer模式启动。
注意这份配置在集群中的每台server中都应该是相同的,否则则不会正常工作,因为server们可能不知道如何正确的建立连接。
cnxTimeout
代表在选举leader期间建立连接的超时时间(zookeeper.cnxTimeout)。
在选举leader期间,server之间要互相建立连接。这个值决定了在重新连接之前需要等待多久来完成建立连接,你需要去深入了解选举leader的细节才能知道这个配置的作用,这里先不详述。默认值为5秒,通常已经足够了,不需要更改。
electionAlg
代表选举的算法,一般情况下不需要进行配置,默认的已经足够好了。
相关推荐
dubbo+zookeeper集群配置.docx 希望这份文档dubbo+zookeeper集群配置.docx可以帮助学习者
zookeeper 集群搭建 一致性协议:zab协议 zookeeper的leader选举 observer角色及其配置 zookeeperAPI连接集群 zookeeper 开源客户端curator介绍 zookeeper四字监控命令 zookeeper图形化的客户端工具(ZooInspector) ...
之前就了解过kafka,看的似懂非懂,最近项目组中引入了kafka,刚好接着这个机会再次学习下。Kafka在很多公司被用作分布式高性能消息队列,kafka之前我只用过redis的list来做简单的队列处理,也还算好用,可能数据量...
适合初学入门,知识巩固。涵盖安装配置、命令操作、Java API操作、事件监听、分布式锁、集群搭建等知识
掌握zookeeper分布式部署,掌握使用...4.配置zoo.cfg,2888是这个服务器Follower与集群中的Leader服务器交换信息的端口;3888是万一集群中的Leader服务 适合于想学习与hadoop相关知识的人群,内容简单易懂且比较完整。
通过VirtualBox安装多台虚拟机,实现集群环境搭建。 优势:一台电脑即可。 应用场景:测试,学习。...内附百度网盘下载地址,有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件
提供功能:命名服务配置管理集群管理分布式锁队列管理特性:顺序一致性:从同一个客户端发起的事务请求,最终将会严格按照其发起顺序被应用到ZooKeeper中。原子性:所有事务请求的结果在集群中所有机器上的应用情况...
在hadoop集群配置中边搭边记录的小白,一起学习!
最近在学习Kafka,准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了(嗯。。主要是懒)。 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚拟机?因为使用...
01_回顾集群架构及配置集群时间同步 02_配置主节点与从节点之间的SSH无密钥登录 03_ZK集群启动脚本编写及NN启动过程(fsimage和edits)及SNN功能 04_HADOOP中服务组件的高可用HA说明 05_搭建分布式HBase集群 ...
前面虽然配置了集群模式的Zookeeper,但是为了方面学建议在伪分布式模式的Zookeeper学习Zookeeper的shell命令。Zookeeper支持某些特定的四字命令字母与其的交互。他们大多数是查询命令,用来获取Zookeeper服务的当前...
# 集群模式,如有配置,将优先使用集群 fat.redis.cluster.nodes=x.x.x.x:x,x.x.x.x:x # zookeeper服务器地址 fat.zookeeper.host=x.x.x.x:x,x.x.x.x:x # zookeeper活跃时间 fat.zookeeper.sessionTimeout=x.x.x.x:...
28.硅谷学习_SpringCloud_Eureka集群配置 29.硅谷学习_SpringCloud_Eureka比Zookeeper好在哪里 30.硅谷学习_SpringCloud_Ribbon是什么 31.硅谷学习_SpringCloud_Ribbon配置初步 32.硅谷学习_SpringCloud_Ribbon...
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第3期_VSFTP安装配置 共22页.pdf
大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第5期_Hadoop安装配置 共44页.pdf
第二部分 ZOOKEEPER学习 24 第6章 zookeeper介绍 25 6.1 zookeeper简介 25 6.2 分布式应用程序 25 6.3 Apache Zookeeper意味着什么? 26 第7章 zookeeper基本组成与工作流程 27 第8章 zookeeper的leader节点选择 31 ...
文档内容有关于MySQL的主从配置,MySQL读写分离、MySQL集群配置、Redis主从配置、Redis集群配置、kafka单机与集群搭建以及使用、zookeeper单机与集群搭建以及使用、部分夹杂着其他乱七八糟的笔记内容。