问题标签 [apache-kafka-mirrormaker]

我已经设置了 MirrorMaker2 用于在 2 个 DC 之间复制数据。

我的 mm2.properties，

在 MM2 启动时看到以下内容。

我的数据正在按预期复制。源主题在目标集群中作为源创建。但是，消费者组偏移量没有被复制。

在源集群中启动了一个消费者组。

消费了几条消息并停止了它。在该主题中发布了新消息，镜像制造商也将数据镜像到目标集群。

我尝试如下使用来自目标集群的消息。

因为，我使用相同的消费者组，所以我希望我的偏移量也能够同步，并且不会使用我在 cluster1 中使用的相同消息。但是，仍然消耗所有消息。有什么我在这里想念的吗。

我已经在我的机器中设置了一个 kafka，我正在尝试设置 Mirror Maker 以从本地主题消费并将其镜像到 azure 事件中心，但到目前为止我一直无法做到这一点，我得到了以下错误：

一段时间后，我意识到这一定是生产者部分，所以我尝试简单地将 kafka-console-producer 工具直接用于事件中心并得到相同的错误。

这是我的生产者设置文件：

这是旋转生产者的命令：

我的事件中心命名空间有一个名为 dev-eh-kafka-test 的事件中心。

有人能做到吗？最终的想法是使用证书对其进行 SSL，但首先我需要能够进行连接。

我尝试使用 Apacha Kafka 1.1.1 或 Confluent Kafka 4.1.3（因为这是客户端使用的版本）。

==== 更新 1

有人向我展示了如何获取更多日志，这似乎是错误的详细版本

我正在我的 Kafka 2.4 集群上试用 Mirror Maker 2 用于灾难恢复。我为 DR 创建了一个专用集群。MM2 似乎工作正常，但我不确定如何在 DR 场景中生成主题。

当前场景，假设我的主集群中有一个名为“mytopic”的主题，它将复制到备份集群，前缀为“ primary.mytopic ”

主集群 1：

备份集群2

我的应用程序被引导到主集群以生成 mytopic。在 DR 场景中，是否有一种自动方式将主题切换到 primary.topics 并引导到备份集群？

谢谢您的帮助！

我有两个 Kafka 集群在两个不同 ec2 实例上的 docker 容器中运行，而我正在运行镜像制造商，我的主题正在被复制

源集群：10.0.0.2 目标集群：10.0.0.1

生产者.config

消费者.config

我正在运行目标集群的以下命令

主题存在于源集群上，但未在目标集群上复制

我们正在为 Kafka 设置 MirrorMaker 2.0。如果我理解正确，复制集群中的主题偏移量是不相等的。这对于普通的 Kafka 应用程序来说不是问题，因为消费者组也会被复制。Flink 在内部将 Kafka 偏移存储在 state 中 - 我假设在使用 state 重新启动作业后，事情可能会出错。有没有办法设置 Flink，以便我们可以从复制的 Kafka 集群上的集群故障中恢复？我认为我们应该以某种方式迁移状态，但没有这样做的经验。

我想将 Mirror Maker 2 用于我们的数据管道，并利用其在 prod 中的功能，但我没有找到任何与其正式发布还是仍为 beta 版本相关的信息。

我正在尝试使用我当前的连接集群为镜像制造商 2 进行设置。根据这个文档，它可以通过 connect rest api 来完成。

https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0#KIP-382:MirrorMaker2.0-RunningMirrorMakerinaConnectcluster

我按照发送此 PUT 请求的示例进行操作：

PUT /connectors/us-west-source/config HTTP/1.1

但我得到一个方法不允许响应错误响应。

如果我从 / 执行简单的 GET 并返回版本，则 api 看起来不错

如何在kafka中进行完全复制？

我有两个服务器，一个领导者和一个追随者。

如何确保当leader拒绝（关闭）时，所有发送给follower的消息在开启后也出现在leader上。

我知道启动的一个选项：Kafka 有一个内置的bin/kafka-mirror-maker.sh同步程序。它应该始终在领导者上运行，然后发送给它的消息也会发送给跟随者。当领导者关闭时，该程序应该在跟随者上启动，并且据我所知，所有消息都会发送给他。在leader开启后，同步后（即消息开始只发给leader的那一刻），这个服务也应该在leader上启动，在follower上关闭，那么消息会一直在同步。

如果您同时在两台服务器上保留这些服务，则消息将无休止地重复。也就是说，由于同步，一条消息将不断地到达跟随者和领导者。

但我不确定这种方法是否正确，它需要额外的资源：用于跟踪所有这些并运行bin/kafka-mirror-maker.sh.

 我怎样才能做到正确而又不浪费资源？

我对场景中的故障转移有疑问。假设我们有两个集群 K1 和 K2，并为 TOPIC1 配置了 MM2 复制（最初在刚才创建K1）。

我们配置了主动-主动复制：

在启动镜像制造商 2 时，我看到主题从集群复制K1到K2命名格式K1.topic_name_here，反之亦然，主题从集群复制K2到K1.

我看到没有TOPIC1创建主题K2，只有K1.TOPIC1创建。TOPIC1我看到这种情况适用于消费者，就像消费者一开始从集群消费一样K1。当集群K1停止服务时，会发生故障转移。K1.TOPIC1消费者从开始消费K2。

我的问题如下：

1. 对于生产者，他们不会生产K1.TOPIC1集群 K2 中的主题，我的问题是生产者如何生产数据。我是否需要TOPIC1在集群 K2 中手动创建一个主题，该主题将用于在发生故障转移时生成消息。
2. 如果上述情况属实，我该如何移回我的主集群 K1。因为，现在TOPIC1集群 K2 中的主题已经偏离了TOPICK1 中的主题。在这种情况下我们如何同步消息？

我正在寻找一种如何在两个 Kafka 主题之间分发消息的方法。在原始主题中，我有20 个分区，每个分区有1000000条消息。我想要一个包含1000 个分区的新主题，并将消息传播到新的更广泛的分区范围。

是否可以在 Kafka 中做到这一点（通过主题镜像或其他技术）？