amazon-web-services - 在没有 spark UI 的情况下在 AWS EMR 中监控 spark 集群

Question

我在 AWS EMR 上运行一个 spark 集群。如何在不使用 spark UI 的情况下获取在 AWS EMR 上运行的作业和执行程序的所有详细信息。我将使用它进行监控和优化。

Answer 1

如果您使用的是 AWS EMR，您可以使用 lynx 服务器来执行此操作。如下所示。

1. 登录到集群的主节点。

2. 试试下面的命令

   猞猁http://localhost:4040

注意：在您键入命令之前，请确保您正在运行作业

Answer 2

您可以检查 nagios 或 ganglia 以了解集群健康状况，但您无法使用这些工具查看在 spark 上运行的作业。