apache-kafka - 如何配置 Kafka 以在禁用复制时让消费者和生产者从故障中恢复？

Question

我们有一个可以接受数据丢失的用例（认为 30-50% 的丢失是可以接受的）。为了降低成本，我们想知道是否可以将 Kafka 配置为复制因子为 1，以便消费者和生产者可以通过简单地从可用分区消费和生产来从代理故障中恢复。

如果可以，需要设置哪些配置？

还有其他一些代理技术本身就是这样运行的，但是，我们希望避免引入另一种技术，因为 kafka 已经是我们生态系统的一部分。

Answer 1

如果您通过创建新主题，bin/kafka-topics.sh则需要指定参数--replication-factor；只需将其设置1为禁用复制。

bin/kafka/topics.sh对于现有主题，您可以使用参数更改复制因子--alter。

对于生产者和消费者，您可能需要做一些额外的异常处理。例如，如果您在写入记录时确实指定了一个专用分区并且无法访问代理，则您可能需要考虑这一点（可能只是跳过此写入或任何适当的）。但是您不需要为您的客户设置特定的配置。