apache-kafka - 仅使用队列中特定数量的消息

Question

是否可以仅使用特定数量的消息，例如队列中的 1000 条消息中的 10 条或 50 条或 100 条消息？我正在查看“fetch.max.bytes”配置，但它似乎是针对消息大小而不是消息数量。

我不知道如何设置“max.partition.fetch.bytes”，因为我的字节大小在每条消息中都不相同。

有没有办法将其动态设置为每分钟阅读 10 条或 50 条或 100 条消息？

或者有什么办法我可以做到这一点？

注意：请“max.poll.records”注意我不能使用该方法

Answer 1

每分钟？不，不是真的，因为作为消费者客户端，您几乎无法控制生产者速度甚至网络速度。

如果您只想要一个静态数字，则将消费者寻找到特定的分区偏移量并简单地计算所消耗的记录数，直到您对该数字感到满意，然后将偏移量提交回来（或不提交）。