问题标签 [apache-kafka-mirrormaker]

现在，我需要将一些主题从一个 Kafka 集群复制到另一个，但在第二个中我需要以另一种格式。我们在 Kubernetes 中使用 Strimzi。在某些连接器中可以做这样的事情，但我不确定 MirrorMaker2 是否让我们这样做，因为它基于 Kafka Connect：

我们正在使用https://strimzi.io/blog/2020/03/30/introducing-mirrormaker2/中指定的 Mirror Maker 2.0 进行 Active Active Kafka 集群设置和主题重命名。我相信诸如 us-email 之类的主题设置如下：

直流1

1. 我们的电子邮件
2. us-email-dc2（dc2 的镜像）

直流2

1. 我们的电子邮件
2. us-email-dc1（dc1 的镜像）

生产者可以发布到其本地 DC，并且两个集群都将包含两个 DC 的数据。到目前为止，一切都很好。

消费者应用程序将订阅通配符主题 (us-email-*) 以读取两个 DC 的数据。如果是这种情况，我是否设置消费者从他们各自的 DC 中读取数据？在这种情况下，由于镜像，将有重复的消息读取到达消息。还是建议一次仅将单个消费者组指向单个 DC 以防止重复？如果是，如果单个 DC 发生故障，故障转移将如何发生？

我正在使用基于 Kafka http://apache.cbox.biz/kafka/2.4.1/kafka_2.13-2.4.1.tgz图像的 Kafka MirrorMaker。我的问题是，无论我尝试什么，MirrorMaker 都会将一个主题的 10 个分区上的延迟聚合 60 秒，然后延迟在一秒钟内归零，因为消息显然没有那么多，然后延迟再次增长 60 秒。我希望消息和延迟每 10 秒归零一次，但无法实现，尽管我主要使用 mirrormaker 生产者配置文件玩了一下。

消费者.props：

生产者.props：

在制作人层面，我玩过：

1. 批量大小
2. 逗留时间
3. 最大请求大小
4. 尝试添加底部 4/5 属性以减少批次之间的时间，但没有运气。

一些建议将不胜感激。

我不确定在这 60 秒内是否存在有效的延迟并且消息在消费者端保留，而只是延迟每 60 秒更新一次，同时消息被复制...

问候， OvivO

我正在制作卡夫卡镜子，我正在使用 MM2。我可以启动镜像过程，并且所有主题和日期都从源集群复制到目标集群。

我需要在目标集群中启动消费者，从它在源集群中停止的位置开始。我遇到了 RemoteClusterUtils.translateOffsets 将消费者偏移量从远程转换为本地。

在检查代码时，我可以看到它只是使用检查点主题并返回我们提供的消费者组的偏移量，并且它没有提交偏移量。

我们是否需要使用 OffsetCommitRequest 显式提交偏移量并在目标集群中启动消费者，或者是否需要其他方式？

为了在两个 DC 之间复制数据，我设置了 Kafka MM2。它运行正常。但是每次我重新启动时，它都会从不同的端口启动。

为了监控这个应用程序，如果它总是在同一个端口上运行会更好，这样我们就可以监控那个端口是否有任何警报。

对于 kafka，我们将手动指定端口。但是对于 MirrorMaker，没有在属性中手动设置端口的选项。我还尝试了各种选项，例如设置 -Dserver.port。但他们都没有工作。

谁能为此提供解决方案？！

我从原来的 Kafka MirrorMaker 迁移到MirrorMaker 2.0，以便将主题从一个集群复制到另一个集群。我正在运行文档中描述的专用 MirrorMaker 集群。

假设我正在复制一个名为test-topic.

A.test-topic我怎样才能确定落后多远test-topic？

最初的 MirrorMaker 创建了消费者组，所以我提到了该消费者组的滞后。MirrorMaker 2.0 不会创建消费者组，因此我无法使用它来确定延迟。

我们正在测试 kafka 的 DR 场景。我们在不同的区域有 2 个 kafka 集群。我们正在使用 MirrorMaker2 来复制主题和消息。主题和消息能够复制。但是我们观察到偏移量没有复制。

例如，从生产者那里生成了 10 条指向 kafka 区域 1 的消息。

消费了来自消费者指向 kafka 区域 1 的 5 条消息

停止消费者指向 region1

开始消费者指向 region2

消费消息

这里的期望是区域 2 消费者应该从偏移量 6 消费

但它从偏移量 0 开始消耗

下面是属性文件

请注意，一些机密值与虚拟值一起放置

问候，

纳伦德拉·贾达夫

在 Apache Kafka 2.6 中使用 MirrorMaker 1 镜像数据时出现奇怪的 Kafka 服务器错误。

奇怪的是，min.isr设置为 2，而 ISR 集有 3 个节点。尽管如此，我得到了NotEnoughReplicasException异常。

更深入地研究这个话题并没有表现出任何好奇心

3个节点的日志看起来很正常（据我判断）。是否有任何其他原因可以产生此消息。还有什么可以检查的？

非常感谢您的任何建议！

消费者配置

生产者配置

我正在尝试使用镜像制造商将主题从一个集群复制到另一个集群此主题配置有 avro 模式。

由于我正在尝试使用mirror maker，因此我开始在同一个集群上从一个主题复制到另一个主题（有点愚蠢，但它是为了了解如何使用mirror maker）它工作得很好。

一旦我能够做到这一点，我就使用相同的配置从一个集群到另一个集群，现在目标主题中的记录有损坏的字符，我不明白为什么。

我的序列化在两边都配置为字符串。当我看到编码问题时，我也尝试了两边的 ByteArray。

您对我为什么有这个问题有任何见解吗？

谢谢阅读

我在使用 mirrormaker 2 时有一个问题。

Mirrormaker 2 基于 Kafka Connect 框架，可以将其核心视为 Kafka 源和接收器连接器的组合。所以在 MM2 架构中有源连接器和接收器连接器。但是 MM2 中的连接器是否有任何额外的 Kafka 集群？因为在kafka connect设计中；source 和 sink 连接器需要 Kafka 集群来移动数据。

例如 MM2 需要源和目标集群；我的问题是，MM2 是否需要第三个 kafka 来进行镜像操作而不使用源和目标集群？

另一个问题是MM2 连接器可以在分布式模式下运行吗？我没有看到关于这个问题的任何配置？

例如在 docker 环境中；下面的配置是否足以在分布式模式下运行 MM2？