0

如下图所示，我将 2 个处理器添加到另一个处理器的相同关系中，它将流文件平均分配到两个尾部处理器中。这是预期的行为吗？如果是，那么分区是在什么基础上完成的？

示例图像

4

2 回答 2

3

将相同的关系发送到多个处理器不会对流文件进行分区，而是将它们全部发送到两个关系。当您想要将相同的数据发送到多个目的地（例如 HDFS 和 Kafka）时，通常会执行此操作。

如果您想提高 PutAzureBlobStorage 的并发性，那么您将拥有一个处理器实例，并在处理器的调度选项卡中增加并发任务。

于 2018-07-13T16:22:01.313 回答
0

我想在 NiFi 集群中分配负载，有不同的方法：

  • 使用 Kafka 跨集群发送消息（任务）。
  • 使用站点 2 站点。
  • 使用监听传入连接（HandleHttpRequest、ListenSyslog 和ListenUDP）的处理器和负载均衡器推送数据。

更多信息： https ://community.hortonworks.com/articles/16120/how-do-i-distribute-data-across-a-nifi-cluster.html

于 2018-07-16T13:15:13.460 回答