我正在将日志消息写入 Kafka 主题,并且我希望永久保留该主题。我在 Kafka 和 Kafka Connect(_schemas、connect-configs、connect-status、connect-offsets 等)中看到了日志保留时间不会删除的特殊主题。我如何强制一个主题与这些其他特殊主题一样?是命名约定还是其他一些属性?
谢谢
我正在将日志消息写入 Kafka 主题,并且我希望永久保留该主题。我在 Kafka 和 Kafka Connect(_schemas、connect-configs、connect-status、connect-offsets 等)中看到了日志保留时间不会删除的特殊主题。我如何强制一个主题与这些其他特殊主题一样?是命名约定还是其他一些属性?
谢谢
如果您想永久保留所有主题,您可以将log.retention.hours
和都设置log.retention.bytes
为 -1。
这些特殊主题是压缩主题。这意味着它们由键控消息组成,并且仅保留列表最近的键。完整的写在这里。在大多数情况下,这可能是您想要的无限保留时间。
您可以在此处找到参数的默认值: https ://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html
log.retention.bytes
如果您想将数据永久保存在主题中,log.retention.ms
可以设置为 -1。