问题标签 [spark-launcher]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - SparkLauncher 独立集群模式
使用 Java API，我可以在“客户端”模式下通过 Spark Launcher 提交、获取状态和终止 spark 应用程序。Spark Launcher 能否跟踪和控制以独立“集群”模式提交的应用程序？
java - Java 中 SparkLauncher 的 --archives 是什么？
我将提交 pyspark 任务，并提交一个包含该任务的环境。
我需要 --archives 提交包含完整环境的 zip 包。
工作火花提交命令是这样的
我正在尝试使用 SparkLauncher 以编程方式启动 Spark 应用程序
我需要在某个地方放置我的 zip 文件，该文件将在纱线上解压。但我没有看到任何存档功能。
apache-spark - SparkAppHandle.Listener 在 Kubernetes 上的 Spark 启动时未收到状态更改事件
SparkAppHandle.Listener 在使用 k8s 上的 InProcessLauncher 启动 spark 应用程序时没有收到状态更改事件（使用 SparkLauncher spark-submit 侦听器观察到相同的问题，但我使用 InProcessLauncher 来避免子进程）。我的目的只是启动 spark 应用程序并确保它已成功提交并进入运行状态。
监听器代码
启动器代码
当我最后收集状态时 - 由于超时约 60 秒和 listener.isLaunched() -> false，它总是到达那里。如果我们增加超时时间，那么在 spark 应用程序完成时，我们会收到 LOST 状态作为状态更改，但未收到已提交/正在运行或任何其他状态。
请注意，火花应用程序已成功启动。
apache-spark - 无法使用 log4j.properties 中指定的文件使用 sparklauncher 重定向以编程方式启动的 spark 应用程序的日志
我有一个使用 sparkapplauncher 启动多个 Spark 应用程序的客户端。此客户端的日志使用 log4j.properties 文件进行记录。我希望这些启动的 spark 应用程序像普通的 spark 作业一样按照 log4j.configuration 写入日志，但是这些会不断被重定向到控制台。log4j 文件具有基于客户端应用程序设置的 applicationID 和标记的动态路径。