hadoop - Apache Nifi 无法写入 HDFS

Question

当我尝试使用 PutHDFS 处理器将文件放在 HDFS 上时，出现以下错误：

我使用 HortonWorks 沙箱 HDP 和 HDF（Windows 上的 docker 容器）。好像是Nifi的问题，HDFS没问题，可以放/写/读。

我正在尝试解决此问题，但没有结果，我删除了 docker 的 HDP 图像并获得了一个新图像，但也没有结果。

Answer 1

通常，该错误意味着写入 HDFS 的任何内容都能够到达名称节点但无法到达数据节点。在您的情况下，这很可能是两个容器之间的网络配置问题。

您可以通过从场景中消除 NiFi 并在运行 NiFi 的容器上安装 Hadoop 客户端来测试这一点，并尝试使用 Hadoop 命令行将文件写入 HDFS。我希望你得到同样的错误。

如果是这样，请确保您可以从 HDF 容器 ping 数据节点主机名，确保打开正确的端口，并确保数据节点接受来自所有主机的连接，而不仅仅是来自本地主机。