问题标签 [apache-kafka-mirrormaker]

我正在为 DR 使用 MirrorMaker2。

Kafka 2.7 应该支持 自动消费者偏移同步

这是我正在使用的 yaml 文件（我使用 strimzi 来创建它）

所有源集群主题都复制到目标集群中。此外...checkpoint.internal主题是在目标集群中创建的，其中包含同步的所有源集群偏移量，但是我没有看到这些偏移量被转换为目标集群_consumer_offsets主题，这意味着我何时将在目标中启动消费者（相同的消费者组） cluster 它将从头开始读取消息。

我的期望是，在允许自动消费者偏移量同步来自源集群的所有消费者偏移量之后，这些消费者偏移量被翻译并存储在目标集群的 _consumer_offsets 主题中。

有人可以澄清我的期望是否正确，如果不正确，它应该如何工作。

我已经设置了 MirrorMaker2 来复制 2 个 Apache Kafka 集群。一切似乎都很顺利。我唯一的问题是，当从CLUSTER1中删除一个主题时（即在 cluster2 上复制为CLUSTER1.topic，cluster2 上的复制主题CLUSTER1.topic没有被删除。所以似乎删除一个主题没有复制到另一个集群.mm2.properties 上有一些特定的属性控制删除主题的复制吗？

谢谢

I have setup a mirrormaker2 on 2 clusters (CL1,CL2) and the mirroring seems to work properly except with an issue with duplicates in a test topic in the following scenario:

While both clusters are up and running i simulate an incident, stopping one by one the brokers of the CL2 cluster. Stopping the first two brokers does not generate any issue. All messages of my test topic are mirrored without problems on CL1.topic of CL2 cluster. After stopping the last broker, obviously will stop messages in the CL2 side as all brokers are down. There is always active a producer that feeds with messages during the test on topic of CL1.

The problem starts on restarting the brokers. After starting the first broker i note that some messages (about 5%) are duplicated. I have connected a client on CL1.topic and i can confirm that indeed there are duplicated messages in my mirrored topic. Kindly suggest how i could avoid these duplicates. Idempotence may not work correctly during broker shutdown?

In the following you can find my MM2 relative config

我们正在使用 MirrorMaker 来备份主题。我们注意到，与源集群相比，Kafka Streams 应用程序创建的重新分区主题在目标集群中的大小似乎不断增加。根据以下文档，这是有道理的org.apache.kafka.streams.kstream.KStream#repartition()：

换句话说，由于我们没有在目标集群中运行 Kafka Streams 应用程序，因此不会发生自动清除。

我们是否正确理解这一点？我们如何确保在备份源集群时不会丢失数据，并且目标集群的大小不会超过源集群的大小？

编辑 2021 年 12 月 1 日：我们仍然有这个问题。MirrorMaker 是否是正确的工具选择？我们是否需要考虑 Replicator 或 Cluster Linking？

我们使用 Strimzi MirrorMaker2 CRD 将数据从一个 Kafka 集群复制到另一个集群。复制现在是同步的，我注意到一个主题（有 3 个分区）的主题偏移不正确，源的消息比目标​​的多。

我想做的是在 MM2 中重新启动该单个主题，而不影响任何正在同步的主题。我在文档中看不到如何仅重新启动一个主题，这可能吗？

我们同步了大约 12 个主题，理想情况下，这些主题不会受到重启的影响。

谢谢！

我想知道使用Mirror maker将数据作为压缩格式从Kafka传输到外部Kafka。我使用compression.type = gzip而不是没有。任何其他改进 b/w Kafka 集群和磁盘空间的数据传输的建议。

我正在运行 kafka mirror maker 2 的一些用例。我现在让它以分布式模式运行，并且复制“似乎”正在运行，但目标集群上的结果与源不匹配。

我的分布式道具文件有以下内容。我的分布式道具文件有我的目标集群。我很确定这是正确的，因为当我将它设置为源集群时，它会在源集群上创建复制主题

我的 source-connector.json 文件具有以下内容：

在开始分发器和 REST 调用之后，我开始向该test主题发送一些测试消息。源代码如下所示：

目标端消息与源不匹配，如下所示：

我很好奇这是否是预期的结果，如果是这样，我将如何让它正确显示消息？

谢谢

我正在使用 Mirror Maker 2 从一个 AWS MSK 集群迁移到另一个。源集群运行 Kafka 2.4.1.1，目标集群运行 2.7。

我的 MirrorMaker2 使用 Kafka 2.7 SDK 在 M5.large EC2 实例上运行。

我希望将所有主题和消费者偏移量从复制$SOURCE_CLUSTER到$TARGET_CLUSTER.

我的testTopic似乎被正确复制（包括消费者组偏移量）。我相信这是因为当我使用from和之后的 fromkafkacat消费时，消息不会在目标上重新消费，因为偏移量已更新（由 MirrorMaker） on ，因此消息不会被重新消费。testTopic$SOURCE_CLUSTER$TARGET_CLUSTER$TARGET_CLUSTER

但是，当我检查一些较大的主题时，似乎偏移量正在以每秒 2-3 的速度更新，正如我尝试在下面演示的那样。

在这里，我正在描述该组MyConsumerGroup。$SOURCE_CLUSTER

在这里，我正在描述该组MyConsumerGroup。$TARGET_CLUSTER

上述命令的后续运行显示LOG-END-OFFSET每秒递增 2-3。

我的mm2.properties文件是：

谁能解释为什么LOG-END-OFFSET我的目标集群上升如此缓慢？没有消费者连接，$TARGET_CLUSTER因此所有更新都通过 MirrorMaker2。

我有两个集群的主动被动设置让我们说 A 和 B，假设 A 有主题 t1，t2...等，集群 B 中的复制主题是 A.t1，A.t2...等，如果失败数据中心A出现我希望生产者和消费者切换到备份集群B，有什么办法可以实现。

我们已经使用 MirrorMaker 2.5.1 在分布式模式下使用 kafka 连接集群进行了从源 kafka 集群到目标 kafka 集群的 kafka 集群迁移。我们看到源和目标的每秒传入消息速率存在显着差异。我们还分析了在 kafka connect 上，生产者的输出率低于消费者的消费率。您是否怀疑来自 kafka connect worker 的消息丢失？我们已经看到 offsetsync 主题的快照和数据速率非常好。任何帮助都是有价值的。Kafka 连接消费者在此处输入图像描述。kafka connect Producer在此处输入图片描述

源kafka：在此处输入图像描述 目标kafka：在此处输入图像描述

我们注意到镜子制造者的任务和工人没有问题。我们有三个连接工作节点，只有一个连接节点有这个生产者和消费者的区别。由于我们没有日志，因此任何见解都将有助于调查该问题。Kafka MM Source 连接器生产者和消费者仅使用默认配置。

谢谢，斗士