最近准备使用Kafka Mirrormaker做两个数据中心的数据同步,以下是一些要点:
- mirrormaker必须提供一个或多个consumer配置,一个producer配置,一个whitelist或一个blacklist(支持java正则表达式)
- 启动多个mirrormaker进程,单个进程启动多个consuemr streams, 可以提高吞吐量和提供容
- mirrormaker部署在destination datacenter,这样如果kafka集群之间发生网络问题,也不至于从src cluster拿到了数据但发不到dest cluster导致数据丢失
- mirrormaker不能防止数据循环发送,即如果使用mm将数据从ClusterA的TopicA复制到ClusterB的TopicA,另一个mm将数据从ClusterB的TopicA复制到ClusterA的TopicA,那么会产生endless loop,mm的负载会急剧上升
- mirrormaker的producer和consumer的一些配置的目标是数据不丢失,而不是高性能,它们分别是
- acks=all(kafka consumer默认1), 意味着数据被拷贝到dest cluster的所有replicas之后才响应
- retries=max integer(kafka producer默认0)
- block.on.buffer.full=true(kafka produmer默认false)
- max.in.flight.requests.per.connection=1(kafka producer默认5), 提升该值可以获得更快的速度,同时意味着如果mirrormaker挂掉,将会丢更多的数据
- auto.commit.enable=false(默认true)
- abort.on.send.failure=true(mirrormaker配置)
6. 其他配置:
- linger.ms=0(kafka producer默认0), 调高linger.ms会使mirrormaker能够将更多的消息打包发送以提升效率,同时意味着消息的平均延迟上升
7. 可以给所有需要mm的topics设置优先级,优先级高的topic将获得更低的延迟,并且能在更短的时间内重启,重启之后也能更快的追上拷贝进度
相关推荐
uReplicator, Apache Kafka Mirrormaker的改进 uReplicator uReplicator提供了在其他数据中心之间复制 Kafka 集群的能力。 不发布到单个 Kafka 集群,可以以将数据发布到多个区域 Kafka 集群,并将它的全部聚集在一...
Docker Kafka MirrorMaker 运行 Kafka 的 MirrorMaker 的 Docker 容器。 卡夫卡版本:0.8.2.1 用法 : 设置镜像很容易 - 只需在启动目标集群后启动镜像制作程序。 镜像制造商至少需要一个或多个消费者配置、一个...
Apache kafka mirrormaker 的 Docker 设置 要求 码头工人 docker-enter(使用$> docker run --rm -v /usr/local/bin:/target jpetazzo/nsenter ) 图 设置 修改KAFKA_ADVERTISED_HOST_NAME中的所有KAFKA_...
MirrorMaker是事实上的标准工具,用于在不同群集之间镜像Kafka主题。 默认情况下,群集之间的主题名称始终保持相同,但是在某些情况下,有必要在镜像过程中更改主题名称。 该存储库显示了如何通过实现自定义Message...
包括生产者和消费者的消息处理流程,新旧消费者不同的设计方式,存储层的实现,协调者和控制器如何确保Kafka集群的分布式和容错特性,两种同步集群工具MirrorMaker和uReplicator,流处理的两种API以及Kafka的一些...
强调uReplicator提供了具有高性能,可伸缩性和稳定性的Kafka复制解决方案。 uReplicator擅长: 高通量uReplicator具有一个控制器,可根据源群集中的吞吐量将分区分配给工作程序,因此每个工作程序均可实现最大吞吐量...
包括生产者和消费者的消息处理流程,新旧消费者不同的设计方式,存储层的实现,协调者和控制器如何确保Kafka集群的分布式和容错特性,两种同步集群工具MirrorMaker和uReplicator,流处理的两种API以及Kafka的一些...
卡夫卡镜 Kafka监控工具 目录 概述 演示版 快速开始 查看指标 开源Kafka模拟器工具 概述 实时监控您的Kafka应用程序 跟踪吞吐量,每秒事件 轻松将KafkaMirror集成... const KafkaMirror = require ( "kafka-mirror-con
kafka配置调优实践
知乎基于 Kubernetes 的 Kafka 平台探索和实践,详细讲述基于业务驱动架构重构:单⼀集群造成系统单点;不区分集群和 Topic 等级,影响重要业务;业务与 Kafka 深度耦合
《深入理解Kafka:核心设计与实践原理》从Kafka的基础概念切入,循序渐进地转入对其内部原理的剖析。《深入理解Kafka:核心设计与实践原理》主要阐述了Kafka中生产者客户端、消费者客户端、主题与分区、日志存储、...
Kafka 的 MirrorMaker 工具可以实现将自建 Kafka 集群中的数据备份到 CKafka 集群中,具体原理如下:MirrorMaker 可以使用
Kafka 消息队列(高清版)深入理解Kafka:核心设计与实践原理。 高清版
(高清版)深入理解Kafka:核心设计与实践原理.zip,
本书秉承能用文字表述的就不贴源码、能用图形辅助的就不乏味陈述;既要让新手能够快速入门,也要让老手有所启发,从基础概念入手,再到原理深入,让读者能够由浅入深地理解 Kafka
包括生产者和消费者的消息处理流程,新旧消费者不同的设计方式,存储层的实现,协调者和控制器如何确保Kafka集群的分布式和容错特性,两种同步集群工具MirrorMaker和uReplicator,流处理的两种API以及Kafka的一些...
这是一本立足于企业真实的商用项目来讲解如何高效从事大数据实践的著作。技术层面,从全栈的角度系统梳理和详尽讲解了大数据的核心技术,包括Spark、Druid、Flume、Kafka等,让我们在纷繁复杂的技术中少走弯路......
通过直接访问 kafka 集群的日志数据,KafkaMirror 提供精确、可靠的反馈,可用于改善系统健康状况和识别异常情况。 演示 快速开始 初始化KafkaMirror的几个简单步骤: npm install kafka-mirror-connect 在初始化...
本详细介绍了Kafka基础理论和实践的相关代码,实践步骤,为零基础的想入门大数据行业的人提供了学习相关资料