问题标签 [apache-kafka-mirrormaker]

当源和目标设置不同（源= 2个服务器，目标= 3个服务器）时，我们设置了 Mirror Maker 在两个 kafka 集群之间复制主题。启动 MirrorMaker 时会引发以下错误：“错误：NOT_ENOUGH_REPLICAS (org.apache.kafka.clients.producer.internals.Sender)”并且集群之间没有复制。我们使用了 MirrorMaker 版本 2。

谁能提供一些建议，为什么它没有按预期工作？

我正在尝试在 2 个集群之间设置复制，但不希望更改主题名称。例如，如果我有一个名为“some_topic”的主题，它会自动复制到“cluster1.some_topic”，我很确定这可以完成，但还没有找到正确的配置来更改它

我当前的配置“mirrormaker2.properties”

以供参考：

• https://cwiki.apache.org/confluence/display/KAFKA/KIP-382%3A+MirrorMaker+2.0#KIP-382:MirrorMaker2.0-RunningastandaloneMirrorMakerconnector
• https://kafka.apache.org/24/javadoc/index.html?constant-values.html

My use-case is as follows: I have a kafka topic A with messages "logically" belonging to different "services", I don't handle neither the system sending the messages to A.

I want to read such messages from A and dispatch them to a per-service set of topics on the same cluster (let's call them A_1, ..., A_n), based on one column describing the service (the format is CSV-style, but it doesn't matter).

The set of services is static, I don't have to handle addition/removal at the moment.

I was hoping to use KafkaConnect to perform such task but, surprisingly, there are no Kafka source/sinks (I cannot find the tickets, but they have been rejected).

I have seen MirrorMaker2 but it looks like an overkill for my (simple) use-case.

I also know KafkaStreams but I'd rather not write and maintain code just for that.

My question is: is there a way to achieve this topic dispatching with kafka native tools without writing a kafka-consumer/producer myself?

PS: if anybody thinks that MirrorMaker2 could be a good fit I am interested too, I don't know the tool very well.

我们的系统需要维护 Kafka 主题分区内记录的正确顺序和顺序保证。正如我们在测试运行中观察到的，Kafka Mirror 不提供分区中的排序保证。记录倾向于在源集群主题和目标集群主题之间打乱。

我们计划使用 Confluent Replicator 进行跨集群数据复制。在 Confluent 社区版 5.3.1 的测试运行中，观察到源和目标主题保持完全相同的分区及其各自的记录数。（复制器在单线程配置上运行）

但是，Replicator 是否保证分区内记录的准确顺序？如果我增加复制线程的数量以实现并行性和更好的吞吐量，它是否仍能保证排序（也在一个线程失败的情况下）？

我正在尝试使用 MirrorMaker 2.0 复制 Kafka 集群。我正在使用以下 mm2.properties：

我可以看到，当 MirrorMaker 启动时，它会创建自己的主题。例如，它在源集群上创建：mm2-configs.dest.internal，内容如下：

并在目标集群mm2-configs.source.internal主题中包含以下内容：

但是当我尝试向源集群（kafka-1、kafka-2、kafka-3）发送消息时 - 没有任何内容复制到第二个集群。

我想念什么？

感谢任何帮助Thx，

我正在尝试使用compression.type = gzip 镜像主题，但消息到达目标集群时没有压缩。我正在使用 kafka 连接器来运行 MM2。

我曾尝试过这些设置但没有成功：

compression.type = gzip

producer.compression.type = gzip

target.compression.type = gzip

我正在使用以下命令检查目标集群中的消息：

/bin/kafka-run-class.sh kafka.tools.DumpLogSegments --files /path_to_log/00000000000000000000.log --print-data-log | grep compresscodec

MM 2 有人遇到过这个问题吗？或者任何提示？

我正在尝试使用 MirrorMaker 2.0 复制 Kafka 集群。我正在使用以下 mm2.properties：

所以这是问题所在，mm2 似乎总是复制 x3 消息：

我尝试使用来自 confluent 包的 Kafka 和直接来自 Apache 的 kafka_2.13-2.4.0，两者都使用 Debian 10.1。

我首先在 confluent 5.4 中鼓励这种行为，认为这可能是他们的包中的一个错误，因为他们有复制器并且不应该真正关心 mm2，但我直接从 Apache 复制了与 kafka_2.13-2.4.0 完全相同的问题，没有任何改变。

我知道 mm2 还不是幂等的，不能保证一次交付。在我的测试中（我尝试了很多东西，包括生产者调整或更大批量的数千条消息）。在所有这些测试中，mm2 总是复制 X3 的所有消息。

我错过了什么吗，有人鼓励同样的事情吗？作为具有相同软件包的旧版 mm1 的站点注释，我没有这个问题。

感谢任何帮助...谢谢！

即使变更日志没有让我对改进非常有信心，但这次我再次尝试从 kafka 2.4.1 运行 mm2。=> 这些奇怪的重复总是没有变化。

我在新服务器上安装了这个版本，以确保我遇到的奇怪行为与服务器无关。

当我使用 ACL 时，我需要特殊权限吗？我把“全部”认为它不能更宽容......即使 mm2 不是幂等的，我也会尝试与此相关的权利。

更让我吃惊的是，我找不到任何报告这样的问题，我肯定做错了什么，但那是什么问题......

有没有办法提供具有加密 SSL 密码的 consumer.config/producer.config 属性文件？我不想在文件系统中以纯文本格式存储密码

Apache Kafka 在 Kafka 2.4 版本中引入了Mirrormaker2 (MM2)。MM2 明显优于 MM1。

我知道从架构的角度来看，MM1 过去使用生产者和消费者 API 工作，而 MM2 使用连接 API。我相信 MM2 的设计灵感来自于Confluent Replicator。Confluent Replicator 与 Confluent 工具完美集成。但除此之外，MM2 和 confluent Replicator 有什么区别？

我正在本地测试 kafka mirror maker 2。运行 2 个动物园管理员和 2 个 kafka 经纪人。它们作为单个实例运行。因此，我本地有 2 个集群，每个集群上有 1 个代理。经纪人运行良好。现在，当我尝试在本地运行镜像制造商时，遇到以下问题。

发生此错误是因为我的本地和镜像制造商中只有一个代理正在尝试创建具有复制因子 3 的偏移主题。如何设置配置以将复制因子更改为 1。

我尝试如下，但仍然是同样的错误。不知道什么是正确的配置。

mm2.properties