我有一个 3 节点 spark 独立集群，在主节点上我也有一个 worker。当我向集群提交一个应用程序时，另外两个工作人员开始运行，但主节点上的工作人员保持状态 LOADING，最终另一个工作人员在其他机器上启动。
在同一个节点上有一个工人和一个主人是问题吗？如果是，有没有办法解决这个问题，或者我永远不应该在同一个节点上有一个工人和一个主人？
PS 每台机器有 8 个内核，工作人员设置为使用 7 个而不是所有 RAM
3473 次
2 回答
1
可以有一台同时托管 Worker 和 Master 的机器。
您是否可能spark-env.sh在该特定机器上配置错误？
于 2016-02-02T22:20:03.757 回答
0
是的，你可以，这里来自Spark 网络文档：
除了在 Mesos 或 YARN 集群管理器上运行之外，Spark 还提供了一种简单的独立部署模式。您可以手动启动独立集群，手动启动主节点和工作节点，或使用我们提供的启动脚本。也可以在单台机器上运行这些守护进程进行测试。
于 2017-12-03T05:53:18.880 回答