我们正在使用 MirrorMaker 来备份主题。我们注意到,与源集群相比,Kafka Streams 应用程序创建的重新分区主题在目标集群中的大小似乎不断增加。根据以下文档,这是有道理的org.apache.kafka.streams.kstream.KStream#repartition()
:
Similar to auto-repartitioning, the topic will be created with infinite retention time and data will be automatically purged by Kafka Streams.
换句话说,由于我们没有在目标集群中运行 Kafka Streams 应用程序,因此不会发生自动清除。
我们是否正确理解这一点?我们如何确保在备份源集群时不会丢失数据,并且目标集群的大小不会超过源集群的大小?
编辑 2021 年 12 月 1 日:我们仍然有这个问题。MirrorMaker 是否是正确的工具选择?我们是否需要考虑 Replicator 或 Cluster Linking?