在一些镜像主题中,我在镜像接收器主题中缺少数据!
源 Kafka 集群默认配置为log.rentention.ms=-1
和log.cleanup.policy=compact
。
使用模式:插入记录,并且 key 也被清空(因此 Kafka 以某种方式像数据库一样使用)
MM2 配置:
- sourceCluster 配置:(receive.buffer.bytes:8192;max.poll.records:10000)
- sinkCluster 配置:(batch.size:8192;offset.flush.timeout.ms:1200000;connection.max.idle.ms:18000000)
以下指标适用于旧的和新的接收器主题:
- Topic X: not null msg count: 63k new: 16k (我也检查了head和tail有相同的creationTime)
- 主题 Y:未清空消息计数:30k 新 18k;与头/尾相同的故事
- 主题 Z:未清空消息计数:136 新 136;相同的消息计数
我的假设是,当 MM2 正在消耗一个批次时,当这批相同的密钥被清空时,第一个 msg 没有被镜像。这个对吗 ?如果这是正确的假设,那么如何反映事件源主题,如果您想以与源主题相同的方式重新创建状态?
为什么镜像接收器主题中缺少消息?如何镜像来自源主题的所有消息?