apache-kafka - 当处理每条消息需要很长时间时，具有 6 个 Kafka 消费者的最大吞吐量策略

Question

考虑这种情况：具有 6 个分区的 Kafka 主题。具有 6 个副本的 Spring Java Kafka 消费者应用程序，以便每个副本处理其中一个分区。

我面临的问题是消费者中每条消息的处理需要很长时间（约 20 秒），因为它需要调用一个非常慢的外部系统。

因此，即使我提供了 6 个分区/副本，我最终还是遇到了瓶颈，即 6 个消费者每条消息阻塞约 20 秒，这意味着每 20 秒的吞吐量为 6 条消息！

考虑到我无法修改外部系统的行为，您能否建议加快这种情况的方法？

Answer 1

增加每个实例上的分区数和并发数。

分区数必须为>= instances * concurrency。