以下我们分五个步骤来说明 Kafka 系统的安装和使用(命令行方式)
(一)下载代码
下载链接:
下载后解压:
tar -xzf kafka_2.11-0.9.0.0.tgz cd kafka_2.11-0.9.0.0
(二)启动服务
Kafak 使用 ZooKeeper 管理,所以如果没有的话就先启动一个 ZooKeeper。可以通过如下脚本启动一个临时单点 ZooKeeper 实例:
bin/zookeeper-server-start.sh config/zookeeper.properties &
现在启动 Kafka 服务
bin/kafka-server-start.sh config/server.properties &
通过 jps 命令可以看到系统中多了两个 java 进程:
jps 33160 QuorumPeerMain (临时单点 ZooKeeper 进程) 33294 Kafka (Kafka 节点实例进程)
(三)创建主题
我们来创建一个叫“test”的主题,只配置一个划分和一个副本:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
我们可以用 list topic 命令查看当前的 topic:
bin/kafka-topics.sh --list --zookeeper localhost:2181 2>/dev/null test
这里加 2>/dev/null 是为了把日志信息过滤走,不然日志信息和标准输出在一起,不太容易看结果。
上面是手动创建主题,也可以配置 broker 自动创建主题。
(四)发布消息
Kafka 提供一个发消息的命令行客户端,从文件或标准输入中接收消息发送给 Kafka 集群。默认情况下一行算成一个消息。
这样操作来启动一个生产者(producer)并发送消息:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test This is a message This is another message
(五)接收消息
Kafka 也提供了一个消费者命令行,用于接收消息并显示到标准输出。
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning This is a message This is another message
如果你开了两个终端,分别启动了一个生产者和一个消费者,你就可以在这两个终端上进行单向聊天了。
本节我们启动了一个 Kafka 实例,而 Kafka 真正强大的地方是支持一个集群,集群中可以配置若干个实例,一个节点倒下去,另一个节点就站起来。在下一节中我们来具体介绍如何创建多实例集群。
相关推荐
Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制 ,我拿第三种进行了 配置 。你可以直接下载 运行并测试
Spring Boot Kafka示例-实际开发人员 ...该代码包含docker-compose.yml文件,因此您可以使用Docker Compose启动Kafka,无需安装。 我有帮你吗 给这个项目加星标和/或 :grinning_face_with_smiling_eyes:
centos 7.4安装kafka 一、 关闭防火墙 二、 禁止selinux 三、 更新系统 四、 安装JDK 五、 配置Java环境变量 六、 安装kafka 七、 安装zookeeper 八、 配置kafka 九、 测试kafka 十、 把zookeeper配置成服务 十一、...
卡夫卡流Node 0.10 Stream 兼容 kafka 消费者警告:这仍处于试验阶段,不应在生产中使用。概述该模块旨在为 Prozess 的 kafka Consumer 提供一个简单且流兼容的接口。 它隐藏了从 kafka 流读取的轮询复杂性。安装 ...
vagrant 安装docker docker 安装mysql 、redis、kafka、 自启动
如果您想实际运行这些示例,那么必须首先安装并运行Apache Kafka和friends,我们将在“打包和运行示例”一节中进行介绍。 每个示例还在最顶部陈述了其确切要求和说明。 src / test /下的示例:这
10.2 安装Kafka-Eagle 10.3 Kafka度量指标 第十一章 Kafka原理 11.1 分区的leader与follower 11.2 Kafka生产、消费数据工作流程 11.3 Kafka的数据存储形式 11.4 消息不丢失机制 11.5 数据积压 第十二章 Kafka中数据...
05.Kafka基础知识和集群搭建 06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12....
它将消息直接写到侧面,导致StreamingApp组件出现意外行为先决条件Zookeeper和Kafka服务器已安装并可以使用创建的主题:“输入主题”,“侧面主题”,“输出主题” 用法启动InputProducer并使其运行启动...
Storm集成Kafka 一、整合说明 二、写入数据到Kafka 三、从Kafka中读取数据 ...这里我服务端安装的 Kafka 版本为 2.2.0(Released Mar 22, 2019) ,按照官方 0.10.x+ 的整合文档进行整合,不适用于 0.8.x 版本的 Kafka。
05.Kafka基础知识和集群搭建 06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12....
自己搭建的kafka开发环境,其中会参考其他的文档《03_重新设置maven的本地库位置》、《07_Nexus的介绍和安装》和《08_Nexus的配置》,这三篇文档也是我写的,可以在csdn中搜到。这个开发环境的搭建包括Kafka集群,...
05.Kafka基础知识和集群搭建 06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12....
05.Kafka基础知识和集群搭建 06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12....
Kafka:registered:用于构建实时数据管道和流应用程序。 它是水平可伸缩的,容错的,快速的并且被广泛使用。 要求 需要MATLAB版本R2018a或更高版本。 使用Kafka Client块时还需要Simulink。 目前仅Windows和Linux支持...
05.Kafka基础知识和集群搭建 06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12....
NodeJS操作Kafka(已验证) 第一步,Kafka需要java运行时,先安装配置java环境 第二步,Kafka官网下载最新版本的压缩包(.tgz格式),并解压。...第三步,使用命令行测试生产、消费 第四步,发送消息
05.Kafka基础知识和集群搭建 06.Kafka基本操作和最优设置 07.Kafka Java API 简单开发测试 08.storm-kafka 详解和实战案例 09.S图表框架HighCharts介绍 10.HBase快速入门 11.基于HBase的Dao基类和实现类开发一 12....
第三天 mapreduce的原理和编程 01-hdfs源码跟踪之打开输入流.avi 02-hdfs源码跟踪之打开输入流总结.avi 03-mapreduce介绍及wordcount.avi 04-wordcount的编写和提交集群运行.avi 05-mr程序的本地运行模式.avi ...
该应用程序支持即时通知(直接发送给最终用户)和两种类型的窗口警报/通知。 第一个是我们应收到的每个警报/通知都一次通知最终用户,但会动态丢弃给定窗口的重复值。 第二个是将上次时间窗口中发送的所有通知分组...