问题标签 [apache-kafka-mirrormaker]

尝试将此模式 id 转换 SMT ( https://github.com/OneCricketeer/schema-registry-transfer-smt ) 应用到镜像制造商集群中，但它无法识别 SMT。如果我将 SMT 用作 kafka 连接工作程序配置，它就可以工作。

我们在 Kafka 2.4/Confluent 5.4 上并使用 MM2 进行复制。

错误 ：

我想将 MirrorMaker 作为独立连接器运行。到目前为止，我还没有找到任何有关配置的文档。据我想象，以下内容会复制myTopic.

现在在目标集群中，我需要主题有另一个名称foo（不是自动重命名）。这是直接支持MirrorSourceConnector还是我需要其他方法？

我正在使用 Kafka 2.5 版试用新的 Mirror Maker 2.0

根据这个 wiki，Mirror Maker 也可以复制组。

问题：

• Mirror Maker 2.0 是否也复制了消费者组？（说复制消费者组，我的意思是它复制了组的滞后信息吗？）
• 如果是这样，我们需要在属性中设置什么才能获得相同的效果？

我使用高级驱动程序运行 MirrorMaker2，如此处所述，./bin/connect-mirror-maker.sh mm2.properties在 k8s 部署中在 3 个 pod 中运行。

mm2.properties 文件如下所示：

这很好用，所有与event\.PROD\.some_id.*正则表达式匹配的主题都被复制。现在，当我需要在白名单中添加其他主题时，我希望能够简单地缩小所有内容，更新正则表达式，然后再次放大所有内容。

当我将白名单正则表达式更新为 时source->dest.topics = event\.PROD\.(some_id|another_id).*，匹配的主题"another_id"会在 dest 集群中创建，但不会复制任何数据，并且 mirrormaker 似乎丢失了提交偏移量：

这是高级驱动程序的限制，还是我做错了什么？据我了解，能够将主题动态添加到白名单是 MM2 的动机之一。

我正处于将大型集群迁移到新数据中心的阶段。我正在使用 MirrorMaker 工具对主题进行镜像。我需要将 __consumer_offset 主题迁移到新集群。移动这个话题的程序是什么？

我的消费属性

生产者属性

我正在使用 num.streams=10 和 whitelist='.*' 运行镜像制造商

从文档中，我在命令行上看到了这样的 MirrorMaker 2.0 -

./bin/connect-mirror-maker.sh mm2.properties

就我而言，我可以转到 EC2 实例并输入此命令。

但是，如果这需要运行很多天，那么正确的做法是什么。EC2 实例可能会被终止等。

因此，如果您需要长时间运行 MirrorMaker 2.0 并希望确保它能够在没有任何人工干预的情况下保持正常运行，我试图找出最佳实践。

我的源集群有一组要发布数据的主题。我在 mirrormaker 属性文件中指定了这些主题名称。我还没有在目标集群中创建主题。我的假设是，如果这些主题不存在，MM 2.0 会自动在目标集群中创建这些主题。但是当我尝试从目标集群中的主题消费时，我看到以下消息 -

[2020-06-11 21:45:19,301] WARN [Consumer clientId=consumer-console-consumer-78249-1, groupId=console-consumer-78249] Error while fetching metadata with correlation id 4790 : {topic1=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient)

这是否意味着需要在目标集群中预先创建主题和分区？

我正在尝试运行：

我有以下配置：

复制工作正常，但我看到消费者不是从最新的偏移量开始，而是从最早的偏移量开始，正如您在配置中看到的那样，我尝试了很多组合，但任何组合都不起作用我想知道如何禁用重命名，因为我想从旧的 kafka-mirror 迁移

基于这个链接，我们可以设置一个prometheus规则来监控mm2： https ://github.com/apache/kafka/tree/trunk/connect/mirror#monitoring-an-mm2-process

尝试使用 confluent connect 分发将此规则应用于 kubernetes 上的 configmap，但没有成功也没有任何错误。

可以删除或不可用融合连接分布上的那些 jmx 规则吗？（我们使用的是 5.5.0）

我们在由 kubernetes 编排的 docker 容器上运行 mirror-maker。当输入负载很大时（假设），我们会看到我们的 mirror maker pod 非常频繁地崩溃。

• 生产者.config

• 消费者.config

• ERROR级别日志：

• FATAL并且 pod 在level 日志之前出现上述日志后崩溃ERROR：

版本：

1.0.0 卡夫卡客户端。