#指定节点列表
metadata.broker.list=kafka01:9092,kafka02:9092,kafka03:9092
#指定分区处理类。默认kafka.producer.DefaultPartitioner
#partitioner.class=kafka.producer.DefaultPartitioner
#是否压缩,0代表不压缩,1代表用gzip压缩,2代表用snappy压缩
compression.codec=0
#指定序列化处理类
serializer.class=kafka.serializer.DefaultEncoder
#如果要压缩消息,这里指定哪些topic要压缩消息,默认是empty,表示不压缩
#compressed.topics=
#设置发送数据是否需要服务端的反馈,有三个值0,1,-1
# 0:producer不会等待broker发送ack
# 1:当leader接收到消息后发送ack
# -1:当所有的follower都同步消息成功后发送ack
request.required.acks=0
#在向producer发送ack之前,broker均需等待的最大时间
request.timeout.ms=10000
#sync同步(默认),async异步可以提高发送吞吐量
producer.type=async
#在async模式下,当message缓存超时后,将会批量发送给broker,默认5000ms
#queue.buffering.max.ms=5000
#在async模式下,Producer端允许buffer的最大消息量
queue.buffering.max.messages=20000
#在async模式下,指定每次批量发送的数据量,默认200
batch.num.messages=500
#当消息在producer端沉积的条数达到“queue.buffering.max.messages"后
#阻塞一定时间后,队列仍然没有enqueue(producer仍然没有发送出任何消息)
#此时producer可以继续阻塞,或者将消息抛弃
# -1:无阻塞超时限制,消息不会被抛弃
# 0 :立即清空队列,消息被抛弃
queue.enqueue.timeout.ms=-1
分享到:
相关推荐
kafka参数配置详解
这里是自己结合spring项目的配置。按照上面的配置可以实现生产发送消息。消费者接受消息。分类设计等
每个kafka broker中配置文件server.properties必须配置的属性如下
Kafka3.0详解,客户端命令,核心配置文件详解。spring集成、webflux集成、集群搭建
Kafka配置解析,常见的那种资料
Spring Boot 配置文件详解 Spring Boot RESTful API 架构 Spring Boot 过滤器和拦截器 Spring Boot 全局异常处理 Spring Boot 参数校验 Spring Boot OpenAPI 文档集成 Spring Boot 集成 Mybatis Spring Boot 集成 ...
nginx-kafka-module是nginx的一个插件,可以将kafka整合到nginx中,便于web项目中前端页面埋点数据的收集,如前端页面设置了埋点,即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中,后端...
Prometheus导出器,用于从收集Kafka消费者组信息。 该项目是的硬分叉。 通过以下更改在很大程度上对其进行了重构: 使用自定义收集器实现,以避免定期报废 通过使用自定义收集器,过时的指标会自动从输出中删除 ...
- Spring Boot 基础知识,包括SpringBoot起步、配置详解、aop、filter、拦截器、监听、启动器、全局异常处理、外部Tomcat启动、HTTPS、监控 等。 - springboot-data - Spring Boot 数据库操作,包括SpringJDBC、...
CDN静态文件访问 分布式存储 分布式搜索引擎 应用发布与监控 应用容灾及机房规划 系统动态扩容 分布式架构策略-分而治之 从简到难,从网络通信探究分布式通信原理 基于消息方式的系统间通信 理解通信协议...