简介
Kafka 是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用。Kafka 支持Java 及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。
本教程主要介绍Kafka 在Centos 7上的安装和使用,包括功能验证和集群的简单配置。
安装JDK
Kafka 使用Zookeeper 来保存相关配置信息,Kafka及Zookeeper 依赖Java 运行环境,从oracle网站下载JDK 安装包,解压安装:
$tar zxvf jdk-8u65-linux-x64.tar.gz $mv jdk1.8.0_65 java
设置Java 环境变量:
JAVA_HOME=/opt/java PATH=$PATH:$JAVA_HOME/bin export JAVA_HOME PATH
也可以选择yum install安装,相应设置环境变量。
安装Kafka
从官网下载Kafka 安装包,解压安装:
tar zxvf kafka_2.11-0.8.2.2.tgz mv kafka_2.11-0.8.2.2 kafka cd kafka
功能验证
1.启动Zookeeper
使用安装包中的脚本启动单节点Zookeeper 实例:
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
2.启动Kafka 服务
使用kafka-server-start.sh 启动kafka 服务:
bin/kafka-server-start.sh config/server.properties
3.创建topic
使用kafka-topics.sh 创建单分区单副本的topic test:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看topic:
bin/kafka-topics.sh --list --zookeeper localhost:2181 test
4.产生消息
使用kafka-console-producer.sh 发送消息:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test Hello world! Hello Kafka!
5.消费消息
使用kafka-console-consumer.sh 接收消息并在终端打印:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning Hello world! Hello Kafka!
集群配置
单机多broker 集群配置
利用单节点部署多个broker。 不同的broker 设置不同的 id,监听端口及日志目录。 例如:
cp config/server.properties config/server-1.properties
编辑配置:
config/server-1.properties: broker.id=1 port=9093 log.dir=/tmp/kafka-logs-1
启动Kafka服务:
bin/kafka-server-start.sh config/server-1.properties &
启动多个服务,按上文类似方式产生和消费消息。
多机多broker 集群配置
分别在多个节点按上述方式安装Kafka,配置启动多个Zookeeper 实例。 例如: 在10.4.253.22,10.4.253.23,10.4.253.24三台机器部署,Zookeeper配置如下:
initLimit=5 syncLimit=2 server.1=10.4.253.22:2888:3888 server.2=10.4.253.23:2888:3888 server.3=10.4.253.24:2888:3888
分别配置多个机器上的Kafka服务 设置不同的broke id,zookeeper.connect设置如下:
zookeeper.connect=10.4.253.22:2181,10.4.253.23:2181,10.4.253.24:2181
启动Zookeeper与Kafka服务,按上文方式产生和消费消息,验证集群功能。
参考资料
相关推荐
CentOS7网络配置,安装JDK,安装Kafka,订阅发布以及测试
centos 7.4安装kafka 一、 关闭防火墙 二、 禁止selinux 三、 更新系统 四、 安装JDK 五、 配置Java环境变量 六、 安装kafka 七、 安装zookeeper 八、 配置kafka 九、 测试kafka 十、 把zookeeper配置成服务 十一、...
centos 离线服务器安装kafka
centos8安装kafka_2.11-2.4.1.docx
Centos7安装Kafka.doc
CentOS7安装kafka-manager详细文档
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-单机版
centos7下kafka和zookeeper和Redis集群搭建
CentOS7下安装Kafka集群.docx
Centos7 安装kafka for Docker.md 存放这里,让大家下载快捷一点
CentOS7下编译的Kafka Manager 1.3.3.17源码生成的文件,可以直接下载使用,自己编译很耗时
本文详细记录了Centos下kafka集群环境部署过程,完全可以做实操手册。在此分享,希望能帮助到有用到的朋友!
文档中列出了一般的从虚拟机安装CENTOS,到配置基础环境,网络配置等,安装KAFKA环境,多BROKER配置的步骤,每步参考的链接,一些应该会用到的命令,还有我走过的一些坑~希望对大家有帮助
背景:你好,游客登录注册搜索首页Linux新闻Linux教程数据库技术Linux编程服务器应用Linux安全Linux下载Linux认证Linux主题Linux
Centos7kafka2.3.03.zip
kafka_2.11-2.4.1安装包以及linux(centos7)安装kafka_2.11-2.4.1详细文档
kafka在centos7上搭建过程,包括jdk配置,环境变量配置,zookeepr搭建,以及使用springboot集成kafka的小demo用例
CentOS7 - hyperledger fabric1.1 - 2+6多机部署(kafka共识)配置文件
kafka_2.12-3.6.0安装包以及linux(centos7)无zookeeper安装kafka_2.12-3.6.0(kraft方式安装)详细文档
centos7下Redis哨兵集群和kafka集群和zookeeper集群搭建 http://blog.csdn.net/gaowenhui2008/article/details/71516901 https://cwiki.apache.org/confluence/display/KAFKA/Clients