4

我在 php 中有一个生产者，它发布到队列。我正在使用php-rdkafka库。

以下是代码：

        $conf->set('log_level', LOG_DEBUG);
        $conf->set('debug', 'all');
        $rk = new RdKafka\Producer($conf);
        $rk->addBrokers("34.93.118.165:9092");
        $topic = $rk->newTopic("download_first");
        $topic->produce(RD_KAFKA_PARTITION_UA, 0, utf8_encode($message));
        $rk->flush(100);

我有 2 个 python 消费者从队列中消费。

该主题有 10 个分区。大多数情况下，当一条新消息产生时，它会进入与以前相同的分区，该分区正被单个消费者消费，因此其他消费者处于空闲状态。

是否有任何其他分区器分配我可以在生成消息时使用的东西？

4

1 回答 1

3

https://github.com/arnaud-lb/php-rdkafka在下面使用 librdkafka ，这是一个基于 C 的 Kafka 库。

根据文档RD_KAFKA_PARTITION_UA 用于使用automatic partitioning using the topic's partitioner function，或者您可以传递确切的分区号而不是 RD_KAFKA_PARTITION_UA 来强制分区。

或者您要求$conf->setPartitioner(RD_KAFKA_MSG_PARTITIONER_RANDOM);启用随机分区器功能。这是可能的常量列表setPartitioner

于 2020-06-12T10:59:37.413 回答