python - 为什么 Spark Driver 读取本地文件

Question

我使用 Spark Cluster Standalone。

master和single slave在同一个服务器（服务器B）。

我使用 Luigi（在服务器 A 上）提交我的应用程序并部署（客户端模式）。

我的应用程序读取服务器 B 上的本地文件。但是，该应用程序尝试读取服务器 A 上的文件。为什么？

sc.textFile('/path/to/the/file/*')

Answer 1

在客户端模式下，驱动程序与提交应用程序的客户端在同一进程中启动。

然而，在集群模式下，驱动程序是从集群内的一个 Worker 进程启动的。

您应该使用集群模式。