我正在编写一个 KafkaConsumer 应用程序，我们在其中以 Yarn-Cluster 模式运行 Kafka Consumer 作为 Spark Streaming 应用程序。这个 KafkaConsumer 的职责是监听不同的主题并使用 org.apache.spark.launcher.SparkLauncher 以 Yarn-Cluster 模式启动新的 SparkApplications。
现在的问题是，当 KafkaConsumer 在 Yarn-Client 模式下运行时，新的 Spark 应用程序会成功启动，但在集群模式下它会卡住。
非常感谢任何帮助或指示。提前致谢。