2

我正处于将大型集群迁移到新数据中心的阶段。我正在使用 MirrorMaker 工具对主题进行镜像。我需要将 __consumer_offset 主题迁移到新集群。移动这个话题的程序是什么？

我的消费属性

bootstrap.servers=<server_dns>:9092
exclude.internal.topics=false
client.id=mirror_maker_consumer_all
group.id=mirror_maker_consumer_all

生产者属性

bootstrap.servers=<bootstrap_servers>:9092
acks = 1
batch.size = 10000
timeout.ms = 3000
client.id=mirror_maker_consumer_offsets

我正在使用 num.streams=10 和 whitelist='.*' 运行镜像制造商

4

1 回答 1

1

使用 MirrorMaker，您无法镜像该主题。跨集群的偏移量通常不同，因此该主题中的数据在新集群中没有意义。

MirrorMaker2 解决了这个问题，并且能够在集群之间复制偏移量。MirrorMaker2 现在是推荐工具，取代了旧的 MirrorMaker。

有关其功能以及如何运行它的详细信息，请参阅 MirrorMaker2 README：https ://github.com/apache/kafka/tree/trunk/connect/mirror

于 2020-06-09T18:00:52.353 回答