0

我想知道使用Mirror maker将数据作为压缩格式从Kafka传输到外部Kafka。我使用compression.type = gzip而不是没有。任何其他改进 b/w Kafka 集群和磁盘空间的数据传输的建议。

4

1 回答 1

1

压缩类型在 CPU 使用率和磁盘空间之间进行权衡

Zstd 压缩据说是最好的选择，我认为 snappy 是低 CPU 使用率的最佳选择。然后 lz4 和 gzip 在中间的某个地方。

一般来说，您需要在自己的基础架构上进行自己的基准测试

序列化格式也很重要

于 2021-03-28T14:10:48.037 回答