apache-kafka - 如何使用 librdkafka 设置 Kafka 消息的最大大小

Question

我正在尝试使用 Kafka 发送约 10Mb 的消息。我知道它的默认大小是 1Mb，但这是一个硬限制吗？librdkafka 可以支持 >10Mb 吗？如何设置？

Answer 1

您需要配置主题max.message.bytes（参见https://kafka.apache.org/22/documentation.html#topicconfigs），并配置生产者message.max.bytes（参见https://github.com/edenhill/librdkafka/blob/master/配置.md )。请为协议开销留出一些额外空间（至少约 500 字节）。