分析完RocketMQ的负载均衡,我们发现它比Kafka的负载均衡要简单,Kafka在这1块搞了蛮复杂的通信协议,可以参见上面那篇文章。
具体来说,有2个地方,要简化很多:
(1) Kafka首先为每个Consumer Group选出了一个Coordinator,所有的Consumer要先找到这个Coordinator,然后和其通信,开始负载均衡。
RocketMQ直接省去了这个选Coordinator的过程,直接让consumer和所有broker广播通信。
(2) 虽然Kafka也是让客户端做负载均衡,但是做法和RocketMQ并不一样。Kafka是让Coordinator从所有Consumer中,选出了一个Master Consumer,让它负载分配。它分好之后,把分配结果传给其他的Consumer。
RocketMQ没搞这么复杂,而是所有Consumer都获取到这份全局的consumer列表,每个人自己分自己那一份!!少了上面的通信过程。
http://blog.csdn.net/chunlongyu/article/details/54630651
相关推荐
今天要给大家分享的是分布式消息中间件。消息中间件主要是实现分布式系统中解耦、异步消息、流量销锋、日志处理等...现在生产中用的最多的消息队列有Activemq,rabbitmq,kafka,rocketmq等。分布式消息队列学习必备
消息中间件的一点经验 rabbitmq、activemq、rocketmq、kafka-mq-research
Kafka技术,消息队列相关技术,Java中间件技术全套教学视频
分布式消息队列kafka详解.rar
#资源达人分享计划#
消息中间件中发布者和订阅者的负载均衡,linkedin开源的KafkaMQ和阿里开源的 metaq都是通过zookeeper来做到生产者、消费者的负载均衡。这里以metaq为例如讲下: 生产者负载均衡:metaq发送消息的时候,生产者在发送...
Kafka 基础培训资料,包含Kafka基础知识介绍,Kafka消息队列的原理,,Kafka消息队列集群介绍,,Kafka消息队列Topic,Partition等介绍内容.
kafka 分布式 window
kettle kafka 消费者插件,在plugins 下新建steps文件夹,把zip文件解压放到里面。
springboot整合kafka消息队列,提供了完整的demo,可以供初学者或对有一定经验的童鞋学习使用,里面demo是经过测试,完全可用的
比RabbitMQ性能更好的消息队列RocketMQ RabbitMQ 由于持久化场景下的吞吐量只有2.6万 经过 RabbitMQ,Kafka 和 RocketMQ( ActiveMQ 性能较差,暂不考虑)的调研和分析后,我们发现 RocketMQ 比较适合
Go-consumergroup:采用golang编写的kafka consumer库
消费kafka某时间段消息用于分析问题,生产环境海量数据,用kafka-console-consumer.sh只能消费全量,文件巨大,无法grep。 代码来源于博主:BillowX_ ,感谢分享 原贴地址:...
- 为什么使用消息队列? - 消息队列有什么优点和缺点? - Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?
消息队列 Kafka 大数据 完全分布式 Hadoop
KAFKA分布式消息系统 KAFKA分布式消息系统
本文来自于csdn,文章分享了分布式...现在生产中用的最多的消息队列有Activemq,rabbitmq,kafka,rocketmq等。 不过这个题目写的有点大。为什么这样说呢,因为虽然这样写,但实际上我这边是以Jms规范和rocketmq为主来
为什么使用消息队列? 消息队列有什么优点和缺点? Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?
积分java源码Kafka-Spark-Consumer 的 README 文件 注意:此 Kafka Spark Consumer 代码取自 Apache Storm 项目 () 的 Kafka spout,该项目最初由 wurstmeister () 创建。 原始 Storm Kafka Spout 代码已被修改以与 ...
Kafka是分布式的消息队列,作为云计算服务的基石,它广泛的应用在实时数据流方面,是实时数据处理的数据中枢,广泛应用在很多互联网企业,例如:linkedin,facebook,腾讯,百度,阿里等。实时数据流是现在互联网...