我们已经使用 MirrorMaker 2.5.1 在分布式模式下使用 kafka 连接集群进行了从源 kafka 集群到目标 kafka 集群的 kafka 集群迁移。我们看到源和目标的每秒传入消息速率存在显着差异。我们还分析了在 kafka connect 上,生产者的输出率低于消费者的消费率。您是否怀疑来自 kafka connect worker 的消息丢失?我们已经看到 offsetsync 主题的快照和数据速率非常好。任何帮助都是有价值的。Kafka 连接消费者在此处输入图像描述。kafka connect Producer在此处输入图片描述
源kafka:在此处输入图像描述 目标kafka:在此处输入图像描述
我们注意到镜子制造者的任务和工人没有问题。我们有三个连接工作节点,只有一个连接节点有这个生产者和消费者的区别。由于我们没有日志,因此任何见解都将有助于调查该问题。Kafka MM Source 连接器生产者和消费者仅使用默认配置。
谢谢,斗士