apache-kafka - 拥有众多消费者的 Clickhouse kafka 表引擎

Question

我打算通过使用这种方法将我的 kafka 主题摄取到 SummingMergeTree 来对 Clickhouse 进行一些测试：https ://clickhouse.yandex/docs/en/table_engines/kafka/

对于我在开发环境上的测试，我不怕量，但在生产环境中，我们已经在消费这些主题，我们必须让许多消费者能够在推送消息时尽快阅读消息。我的问题是：Clickhouse 有没有办法让许多 kafka 消费者在一张带有 kafka 引擎的桌子上？

谢谢，

罗马式

Answer 1

阅读文档似乎引擎中的num_consumers参数Kafka正是您所需要的：

num_consumers – 每个表的消费者数量。默认值：1。如果一个消费者的吞吐量不足，则指定更多消费者。消费者总数不应超过主题中的分区数，因为每个分区只能分配一个消费者。