1. 获取Kafka Consumer Offset Monitor安装包
http://pan.baidu.com/s/1kT5KeQ7
2. Kafka Consumer Offset Monitor启动脚本kafkacom.sh
java -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8086 --refresh 10.seconds --retain 7.days 1> kakfa.offset.monitor.logs.stdout.log 2>kafka.offset.monitor.logs.stderr.log &
3.启动Zookeeper、Kafka Brokers
4. 启动Kafka Consumer Offset Monitor
sh kafkacom.sh
5. 在浏览器中访问如下地址打开监控界面:
http://192.168.26.140:8086
6. 启动Producer和Consumer,写20000万条消息,刷新浏览器查看offset的变化,可以看到
7. Consumer Offsets表各个列的含义:
- Topic:Topic的名字
- Partition:Topic包含的分区,上例中,learn.topic.p8.r2有8个分区
- Offset:Kafka Consumer已经消费的分区上的消息数
- logSize: 已经写到该分区的消息数
- Lag:还有多少消息数未读取(Lag = logSize-Offset)
- Owner: 该分区位于哪个Broker上,上例中有三个Broker(consumer group name + hostname + broker.id)
- Created: 分区创建时间
- Last Seen: Offset和logSize数字最后一次更新时间
8. 注意的问题:
刚开始启动时,发现Lag为负数,这明显不对,但是当使用Producer和Consumer进行读写Kafka后,数字显示正常
参考:http://blog.csdn.net/lizhitao/article/details/27199863
相关推荐
包含Mac 和 windows版本, 可以连接kafka,非常方便的查看topic、consumer、consumer-group 等信息。 1、首先在Properties页签下填写好 zookeeper 地址和端口 2、再从 Advanced页签下填写 broker地址和端口
offset kafka监控工具 免费 支持windows等
资源介绍了kafka的监控工具-kafkaOffsetMonitor在windodws环境下的部署,以kafkaOffsetMonitor_0.2.1版本举例说明了该工具在windows环境下如何部署及对kafka参数进行监控。
5、kafka监控工具Kafka-Eagle介绍及使用 网址:https://blog.csdn.net/chenwewi520feng/article/details/130581571 本文主要介绍了kafka监控工具Kafka-Eagle的使用。 本文依赖:kafka、zookeeper部署完成。 本分分为...
研究了一段时间后,根据网上的例子,做大量的削减及根据需要做出的最简化使用实例,并且加入了获取kafka的server端的状态信息,根据状态信息配置启动时读写位置
监控并展示topic、消费者组 Consumer GroupId、Total Lag、Kafka数据生产...主要使用kafka.admin.AdminClient和org.apache.kafka.clients.consumer.KafkaConsumer实现,并且对接了华为FusionInsight平台的身份认证。
有个别同学反馈上一次传的有部分资源没有完全本地化,所以今天特地重新编译了一版重新上传,再此也和之前下载的同学说声抱歉。希望对大家有用。
kafka监控工具KafkaOffsetMonitor afkaOffsetMonitor是Kafka的一款客户端消费监控工具,用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,我们可以浏览当前的消费者组,并且每个Topic的所有...
KafkaOffsetMonitor 最新版本 0.4.6 , google js 替换已替换 内外可以访问页面
主要介绍了Spring Boot集群管理工具KafkaAdminClient使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
kafka_hdfs_consumer实现
使用场景:生产环境海量数据,用kafka-console-consumer 消费kafka某时间段消息用于分析问题,生产环境海量数据,用kafka-console-consumer.sh只能消费全量,文件巨大,无法grep。 代码来源于博主:BillowX_ ,感谢...
kafka-manager1.3.0.8 可修改offset值
offsetExplore2 实际上是 Kafka 的一个工具,用于管理和监控 Apache Kafka 中的偏移量(offset)。在 Kafka 中,偏移量是用来标识消费者在一个特定分区中的位置的标识符,它可以用来记录消费者消费消息的进度。 ...
zabbix监控之kafka模板
kafka web页面的监控工具包,适合学习大数据或者kafka的人群使用
zookeeper集群部署,kafka集群部署,kafka介绍,topic创建、删除、kafka监控
总共12课,高清未加密课程。 课程环境 linux + java ...第7课 Consumer offset管理 第8课 Consumer的stream接口 第9课 Kafka高性能之道 第10课 Kafka监控工具 第11课 Kafka运维 第12课 Kafka性能测试
kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset kafka客户端offset ...
kettle7.1版本整合kafka,kafka插件包含生产者、消费者。直接在kettle安装目录plugins下创建steps目录,并解压下载文件到kettle/plugins/steps目录。具体可查看我博文。