apache-nifi - Apache Nifi - 使用 Kafka + 合并内容 + 放置 HDFS 以避免小文件

Question

我在 Kafka 主题中有大约 2000000 条消息，我想使用 NiFi 将这些记录放入 HDFS，所以我PutHDFS同时使用处理器，ConsumeKafka_0_10但它在 HDFS 中生成小文件，所以我使用合并内容处理器来合并记录在推送文件之前。 如果配置需要更改，请提供帮助 这适用于少量消息，但在涉及大量数据的主题时为每条记录写入一个文件。

谢谢！！

Answer 1

最小条目数设置为 1，这意味着它可以具有从 1 到最大条目数的任何值。尝试将其设置为更高的值，例如 100k。