apache-spark - 如何在 SparkLauncher 中设置驱动程序 java 选项

Question

在使用spark-submit向 Yarn 提交 Spark 应用程序时，我可以通过 将 java 选项传递给驱动程序--driver-java-options，例如：

spark-submit --driver-java-options "-Dlog4j.configuration=file:///conf/log4j.properties" ...

通过提交时如何实现相同的效果SparkLauncher？特别是，有没有办法用 Spark 1.4 实现它？

Answer 1

不熟悉，SparkLauncher但通过查看代码，您可以使用setConf(). 在此，如果您添加该属性，SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS这应该具有相同的效果。

例如

Process spark = new SparkLauncher()
     .setAppResource("/my/app.jar")
     .setMainClass("my.spark.app.Main")
     .setMaster("local[*]")
     .setConf(SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS, "-Dmy.property=someval")
     .launch();