出处:http://blog.csdn.net/yfkiss/article/details/17381351
本文基于Kafka 0.8
在一台机器上构建一个3个节点的kafka集群,并测试producer、consumer在正常情况下的行为,以及在lead broker/follow broker失效情况下的行为
1.下载并解压kafka 0.8.0 release
$ mkdir kafka
$ wget http://apache.dataguru.cn/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz
$ tar -zxvf kafka_2.8.0-0.8.0.tar.gz
$ cd kafka_2.8.0-0.8.0
$ ll
total 2560
drwxr-xr-x 6 root root 4096 Dec 17 17:44 ./
drwxr-xr-x 4 root root 4096 Dec 17 18:20 ../
drwxr-xr-x 3 root root 4096 Dec 17 18:16 bin/
drwxr-xr-x 2 root root 4096 Dec 17 17:43 config/
-rw-r--r-- 1 root root 2520145 Nov 27 06:21 kafka_2.8.0-0.8.0.jar
drwxr-xr-x 2 root root 4096 Nov 27 06:21 libs/
-rw-r--r-- 1 root root 12932 Nov 27 06:21 LICENSE
drwxr-xr-x 2 root root 4096 Dec 17 18:00 logs/
-rw------- 1 root root 47165 Dec 17 18:10 nohup.out
-rw-r--r-- 1 root root 162 Nov 27 06:21 NOTICE
2.启动一个单节点的zookeeper
$ nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
3. 准备启动一个3个broker节点的kafka集群,因此做如下配置
$ cp config/server.properties config/server-1.properties
$ cp config/server.properties config/server-2.properties
并做如下修改:
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
说明:
broker.id: broker节点的唯一标识
port: broker节点使用端口号
log.dir: 消息目录位置
4. 启动3个broker节点
$ JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &
$ JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &
$ JMX_PORT=9999 bin/kafka-server-start.sh config/server.properties &
5. 创建topic并查看
$ bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 3 --partition 1 --topic 3test
creation succeeded!
$ bin/kafka-list-topic.sh --zookeeper localhost:2181
topic: 3test partition: 0 leader: 2 replicas: 2,1,0 isr: 2,1,0
topic: test partition: 0 leader: 0 replicas: 0 isr: 0
topic: test_topic partition: 0 leader: 1 replicas: 0,1,2 isr: 1,2,0
说明:
partiton: partion id,由于此处只有一个partition,因此partition id 为0
leader:当前负责读写的lead broker id
relicas:当前partition的所有replication broker list
isr:relicas的子集,只包含出于活动状态的broker
6.启动consumer & producer,并在producer启动后的console输入一些信息
$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic 3test
message1
message3
message2
$ bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --topic 3test
message1
message3
message2
producer发送的数据consumer都能正常消费
7. 干掉follow broker
杀掉一个非lead broker(lead broker id为2)
$ pkill -9 -f server-1.properties
查看topic:
$ bin/kafka-list-topic.sh --zookeeper localhost:2181
topic: 3test partition: 0 leader: 2 replicas: 2,1,0 isr: 2,0
topic: test partition: 0 leader: 0 replicas: 0 isr: 0
topic: test_topic partition: 0 leader: 2 replicas: 0,1,2 isr: 2,0
此时,存活的broker只有2,0
测试:produce发送消息,consumer能正常接收到
8. 继续干掉leader broker
干掉leader broker后,连续查看topic状态
$ pkill -9 -f server-2.properties
$ bin/kafka-list-topic.sh --zookeeper localhost:2181
topic: 3test partition: 0 leader: 2 replicas: 2,1,0 isr: 2,0
topic: test partition: 0 leader: 0 replicas: 0 isr: 0
topic: test_topic partition: 0 leader: 2 replicas: 0,1,2 isr: 2,0
$ bin/kafka-list-topic.sh --zookeeper localhost:2181
topic: 3test partition: 0 leader: 2 replicas: 2,1,0 isr: 2,0
topic: test partition: 0 leader: 0 replicas: 0 isr: 0
topic: test_topic partition: 0 leader: 2 replicas: 0,1,2 isr: 2,0
$ bin/kafka-list-topic.sh --zookeeper localhost:2181
topic: 3test partition: 0 leader: 0 replicas: 2,1,0 isr: 0
topic: test partition: 0 leader: 0 replicas: 0 isr: 0
topic: test_topic partition: 0 leader: 0 replicas: 0,1,2 isr: 0
$ bin/kafka-list-topic.sh --zookeeper localhost:2181
topic: 3test partition: 0 leader: 0 replicas: 2,1,0 isr: 0
topic: test partition: 0 leader: 0 replicas: 0 isr: 0
topic: test_topic partition: 0 leader: 0 replicas: 0,1,2 isr: 0
杀掉leader broker过了一会,broker 0成为新的leader broker
测试:produce发送消息,consumer能正常接收到
相关推荐
在本地主机上测试kafka卡夫卡消费者: cd进入文件夹mvn全新安装java -jar。\ target \ kafka-consumer-jar-with-dependencies.jar <topic> <client> <group> java -jar。\ target \ kafka-consumer-jar-with-...
springboot整合kafka消息队列,提供了完整的demo,可以供初学者或对有一定经验的童鞋学习使用,里面demo是经过测试,完全可用的
本文主要目的在于将Storm运行环境集成到docker容器中,在一个快速开发模式下运行测试。代码内容来自 第四章。本代码仅供学习。这个样例程序主要是分析日志文件,一旦符合某个threshold,将通过XMPP告警。 - 将日志...
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。...
我想通过Clojure而不是Clojure包装器来学习真正的Kafka API,因此这里是使用原始API的示例,它很干净,意味着您无需等待Clojure包装器库来升级Kafka。 有关示例的指南,请参见。 先决条件 期望能够设置Zookeeper和...
kafka集群测试,生产、消费实例代码,kafka-demo.rar
让我们学习自动测试Kafka应用程序的最简单,最有效的方法。 在以下情况下特别有用: 涉及REST和Kafka的微服务 在BigData存储期间进行读/写,例如HBase / Hadoop 任何其他数据管道 在家尝试的示例以及更多内容...
细致简介了消息队列在大数据的应用场景、Kafka集群搭建、Kafka操作,基准测试、架构、编程、结合Kafka Eagle简介原理等 课程亮点 1,知识体系完备,从小白到大神各阶段读者均能学有所获。 2,生动形象,化繁为简,...
本附件提供了kafka 的学习脑图,Java代码测试案例,共有7个模块
它使用与 Java 客户端相同的一组系统测试等进行测试。 它由 Confluent 支持。 性能 - 性能是一个关键的设计考虑因素。 对于较大的消息大小(Python 解释器的开销影响较小),最大吞吐量与 Java 客户端相当。 ...
机器学习+ Kafka Streams示例 该项目包含一些示例,这些示例演示了如何利用及其将分析模型部署到关键任务,可扩展的生产中。 示例将包括使用TensorFlow,Keras,H2O,Python,DeepLearning4J和其他技术构建的分析...
2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行成功,功能ok的情况下才上传的。 3、适用对象:计算机,电子信息工程、数学等专业的大学生...
Kafka技术实战学习的优选课程,课程内容全程实战,没有拖泥带水,但不包含基础知识的教学,需要同学们先具备一定的Kafka技术基础再进行学习。课程内容包括了Kafka java Consumer实战,Kafka集成框架,Kafka分布式...
# kafka-logsize-exporter ## Installation download, uncompress ## Getting Started ```bash pip install -r requirement.txt vim cluster.conf ``` ``` # cluster name alias [kafka1003] # zookeeper zk =...
该项目是个人毕设项目,答辩评审平均分达到95分,代码都经过测试ok后才上传,确保运行!欢迎下载使用,可用于小白学习、进阶。 该资源主要针对计算机、通信、人工智能、自动化等相关专业的学生、老师或从业者下载...
1、资源内容:实时风控系统,基于spark-streaming、drools、kafka、redis+源代码+文档说明 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都经过测试运行...
1、介绍 2、Kafka独特设计在什么地方? 3、kafka架构 4、Kafka如何搭建及创建topic、发送消息、消费消息? 5、环境搭建 6、测试 7、kafka开发环境搭建 8、学习总结来源
实时etl: mock Kafka uploader -> Kafka -> Flink -> Kudu。实时处理日志数据流,生成事件和用户属性 event: 用户事件 profile: 用户属性 离线标签: (Parquet, Kudu) -> Spark -> Parquet。每天凌晨自动跑的两个离线...
启动应用即可测试,可帮助快速了解kafka、activemq 两者在 Queue topic producer consumer 使用异同点,demo仅仅是最简化代码,演示通信和使用,无法对两者的集群模式进行测试,如果有对集群模式有兴趣,可自行扩展...