hadoop - Hadoop文件上传过程内部工作原理

Question

我目前遇到了一个问题，当从集群中的任何节点运行客户端时，我可以将文件上传到 HDFS，但在从本地计算机运行客户端时却不能这样做（即使我可以这样做从我的本地客户端运行 ls 之类的东西）。我很确定这是一个端口问题，但较小的问题让我想我想确切地了解当我尝试上传文件时我的客户端计算机、namenode 和 datanodes 之间发生了什么通信。那么，有人可以启发我吗？在什么时候、通过什么端口以及在哪台计算机之间究竟会发生什么？

Answer 1

这是一个 EC2 问题，无论它们是在 EC2 中还是在我们的专用网络上，我都会让 namenode 将 Datanode EC2 私有 IP 返回给所有客户端。这些 ips 显然不适用于 EC2 之外的客户端，因此任何涉及数据节点并受到 EC2 外部攻击的操作都会搞砸。我从来没有找到一个好的解决方案，只是决定暂时让人们从 EC2 内部查询。