Kafka安装手册
1.在安装Kafka集群之前,保证Zookeeper集群正常运行。
在集群每台机器的控制台上运行以下命令:
cd ${ZOOKEEPER_HOME} bin/zkServer.sh start |
返回结果如下,则说明Zookeeper正常启动。
2803 Jps 2782 QuorumPeerMain |
(数字代表进程ID,不重要,主要看是否有QuorumPeerMain 进程)
2、在kafka的官网上下载kafka的安装包,如kafka_2.10-0.8.2.2.tgz,然后解压缩kafka_2.10-0.8.2.2.tgz。使用以下命令:
|
3、修改配置文件/usr/local/kafka/config/server.properties,修改如下内容:
这里需要说明的是,默认Kafka会使用ZooKeeper默认的/路径,这样有关Kafka的ZooKeeper配置就会散落在根路径下面,如果你有其他的应用也在使用ZooKeeper集群,查看ZooKeeper中数据可能会不直观,所以强烈建议指定一个chroot路径,直接在 zookeeper.connect配置项中指定:
|
而且,需要手动在ZooKeeper中创建路径/kafka,使用如下命令连接到任意一台ZooKeeper服务器:
在ZooKeeper执行如下命令创建chroot路径:
|
这样,每次连接Kafka集群的时候(使用--zookeeper
选项),也必须使用带chroot路径的连接字符串。然后,将配置好的安装文件同步到其他的集群节点上:例如
|
最后,在集群节点上修改配置文件kafka目录下得config/server.properties,内容如下所示:
|
因为Kafka集群需要保证各个Broker的id在整个集群中必须唯一,需要调整这个配置项的值(如果在单机上,可以通过建立多个Broker进程来模拟分布式的Kafka集群,也需要Broker的id唯一,还需要修改一些配置目录的信息)。
在集群中的每节点上分别启动Kafka,分别执行如下命令:
cd ${KAFKA_HOME} bin/kafka-server-start.sh config/server.properties & |
可以通过查看日志,或者检查进程状态,保证Kafka集群启动成功。
常用命令
a) 创建一个名称为test的Topic,5个分区,并且复制因子为3,执行如下命令:
./bin/kafka-topics.sh -create -zookeeper backup:2181,master:2181/kafka -replication-factor 3 -partition 5 -topic test |
b) 查看创建的Topic,执行如下命令:
./bin/kafka-topics.sh -zookeeper master:2181,backup:2181/kafka -list |
c) 我们可以通过Kafka的bin/kafka-console-producer.sh和bin/kafka-console-consumer.sh脚本,来验证演示如果发布消息、消费消息。
在一个终端,启动Producer,并向我们上面创建的名称为test的Topic中生产消息,执行如下脚本:
./bin/kafka-console-producer.sh -broker-list master:9092,backup:9092 -topic test |
d) 在另一个终端,启动Consumer,并订阅我们上面创建的名称为test的Topic中生产的消息,执行如下脚本:
./bin/kafka-console-consumer.sh -zookeeper backup:2181,master:2181/kafka -from-beginning -topic test |
e) 查看topic的具体信息,例如查看test的具体信息
kafka-topics.sh -describe -zookeeper master:2181,backup:2181/kafka -topic test |
相关推荐
mvn install:install-file -DgroupId=io.confluent -DartifactId=kafka-schema-registry-client -Dversion=6.2.2 -Dfile=/root/kafka-schema-registry-client-6.2.2.jar -Dpackaging=jar 官网下载地址 packages....
包含翻译后的API文档:kafka-clients-2.4.1-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.4.1; 标签:apache、kafka、clients、中文文档、jar包、java; 使用方法:解压翻译后...
包含翻译后的API文档:kafka-clients-2.0.0-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.0.0; 标签:apache、kafka、clients、中英对照文档、jar包、java; 使用...
包含翻译后的API文档:kafka-clients-2.4.1-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.4.1; 标签:apache、kafka、clients、中英对照文档、jar包、java; 使用...
包含翻译后的API文档:kafka-clients-0.10.0.1-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:0.10.0.1; 标签:apache、clients、kafka、jar包、java、API文档、中文版; 使用...
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar
kafka-schema-registry-client-3.2.0.jar包,亲测可用,在aliyun仓库内找不到,可以下载此jar包来进行手动安装
说明:kafka-manager 自己下载编译速度巨慢,此资源是编译好的 kafka-manager,版本是:kafka-manager-1.3.3.7(适用于较新的版本,kafka版本是kafka_2.11-2.0.1)。 安装配置说明: 1. 里头有个自己写的启动脚本,...
包含翻译后的API文档:kafka-clients-2.2.0-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.2.0; 标签:apache、kafka、clients、中文文档、jar包、java; 使用方法:解压翻译后...
kafka_2.11-2.0.0.tgz, kafka_2.11-2.0.1.tgz, kafka_2.11-2.1.0.tgz, kafka_2.11-2.1.1.tgz, kafka_2.11-2.2.0.tgz, kafka_2.11-2.2.1.tgz, kafka_2.11-2.2.2.tgz, kafka_2.11-2.3.0.tgz, kafka_2.11-2.3.1.tgz, ...
包含翻译后的API文档:kafka-clients-2.0.0-javadoc-API文档-中文(简体)版.zip; Maven坐标:org.apache.kafka:kafka-clients:2.0.0; 标签:apache、kafka、clients、中文文档、jar包、java; 使用方法:解压翻译后...
大数据监控工具kafka监控工具kafka-eagle-bin-1.4.2.tar.gz,比较简单好用。
spark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar
spark-streaming-kafka-0-8_2.11-2.4.0.jar
kafka-schema-registry-client-3.3.1.jar包,在aliyun 仓库内无法下载,可以下载此jar包然后手动安装
最新版kafka kafka_2.13-2.6.0.tgz
kafka-eagle-bin-2.1.0.tar.gz 2022年7月份下载,最新版
包含翻译后的API文档:kafka-clients-0.9.0.0-javadoc-API文档-中文(简体)-英语-对照版.zip; Maven坐标:org.apache.kafka:kafka-clients:0.9.0.0; 标签:apache、kafka、clients、中英对照文档、jar包、java; ...
kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1kafka_2.10-0.8.1.1...
已编译 Kafka-Manager-1.3.3.22 linux下直接解压解压kafka-manager-1.3.3.22.zip到/opt/module目录 [root@hadoop102 module]$ unzip kafka-manager-1.3.3.22.zip 4)进入到/opt/module/kafka-manager-1.3.3.22/...