KAFKA0.8与0.7安装过程大同小异
将kafka包放到linux后,执行以下命令:
1.tar xzf kafka-<VERSION>.tgz>
2.cd kafka-<VERSION>>
3. ./sbt update>
4../sbt package>
5../sbt assembly-package-dependency
这个过程kafka会下载他的依赖包,并进行打包工作
执行完这些命令后kafka的准备工作就结束了,可以进行启动:
1.首先启动zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
2.然后启动kafka
bin/kafka-server-start.sh config/server.properties
kafka0.8跟0.7在启动上没有什么区别,但是如果想发送消息,则跟0.7的步骤不同
首先需要创立一个主题:
bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic test
创立后我们可以查看当前到底有哪些主题
bin/kafka-list-topic.sh --zookeeper localhost:2181
之后就可以和0.7一样,用console版的producer和consumer去发送消息了,命令如下:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
然后在producer里边写消息,在另一个terminal里打开kafka根目录,并输入命令:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
这样就可以查看到刚才producer里边的消息了
注:0.8中如果我们已经创立了消息,然后停掉了所有的server,再次打开server,然后创立主题,如果该出题曾经创立过,就会提示主题已经存在。
将kafka进行了broker的单点配置后,就可以考虑开始集群配置broker
1.首先复制server.properties的配置文件为多个,并修改名字:
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
2.修改server-1.properties和server-2.properties的配置文件
config/server-1.properties:
broker.id=1
port=9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
port=9094
log.dir=/tmp/kafka-logs-2
其中broker.id必须是独一无二的,而重写端口号和日志地址是为了避免不同的broker在记录日志时刷掉对方的数据。
3.然后我们可以启动另外两个broker了
JMX_PORT=9997 bin/kafka-server-start.sh config/server-1.properties &
JMX_PORT=9998 bin/kafka-server-start.sh config/server-2.properties &
leader:负责当前指定分区的读写的借点。任意节点会被随机的选取为当前读写部分的leader。
replicas:是负责当前分区日志读写的节点的列表,无论当前节点是否存活。
isr:是当前正存活的replicas,并且是和leader同步的replicas。
我们可以看到“test”只有一个副本,而“my-replicas-topic”有三个副本。
6.接下来我们可以用console去测试当前的主题的连通性了:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
然后输入消息
在另一个terminal里边敲击命令:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
就可以看到刚才的消息了
7.现在把刚才作为leader的那个broker杀掉,同时杀掉broker0,,然后查看针对当前主题的leader是谁,
pkill -9 -f server-1.properties
bin/kafka-list-topic.sh --zookeeper localhost:2181
也就是说,kafka0.8会自动选取新的节点作为leader。
然后查看原来的消息还在不在,以便确定当某个broker挂掉,信息是否会保存。
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
结果是都还在。
分享到:
相关推荐
kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1...
kafka0.8软件包+详细安装步骤绿色无毒放心使用。请给好评谢谢
storm0.9.1+kafka0.8.1.1亲测可以跑起来的工程,有些乱,我后续继续整理 kafka0.8Storm0.9.1Optr/com.ks.topoloty.CounterTopology.java是启动主文件 Kafka0.8Optr2/SendMessage.java是测试文件 可以在kafka0.8Storm...
kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过zookeeper集群交换消息,具体可参考:http://exp-blog.com/2018/08/03/pid-2187/
kafka0.8 从官网下载的,不愿意去官网的可以在这里下载
docker容器中搭建kafka集群环境,kafka集群配置注意事项与优化
kafka分布式集群搭建
kafka搭建单机windows_单机linux_集群linux操作手册,亲自操作编写,无任何坑。。。
kafka环境搭建(单机+集群) 详细,以及redis在虚拟机上的安装。
本文档详细描述了如何在linux中搭建kafka集群,适合初中级程序员和运维同事,欢迎下载,我已经按照教程完整的搭建过一遍了,亲测有效
搭建基于sasl的安全认证的kafka集群,并配置acl,使用户能分权分域接受发送消息
kafka集群的搭建,与使用。详细描述了 卡夫卡中 consumer produer brolers partion 之间的调度关系
搭建kafka集群详细教程搭建kafka集群详细教程搭建kafka集群详细教程
kafka_2.11-0.8.2.2
docker容器中搭建kafka集群环境
本文档介绍了kafka的基础理论知识、集群的搭建流程、kafka的配置选项、kafka的API,对于使用kafka的人来说是一份很不错的文档
zookeeper linux 搭建流程,zookeeper linux 搭建流程zookeeper linux 搭建流程zookeeper linux 搭建流程。
kafka集群zookeeper集群整合配置 本人亲自验证
kafka集群 zookeeper集群 配置文件
hadoop与spark分布式安装