1

我正在使用 Java 应用程序和 Spark Launcher 以编程方式将我的作业提交到 spark-cluster（使用 YARN）（使用 startApplication()，而不是 launch() 开始作业）。我喜欢将所有日志输出（在执行 Java 应用程序时由启动器在 stdout 和 stderr 上生成）放在一个文件中，我可以使用 java-app 访问该文件。我不想更改全局 spark-log-config，我想要一个动态解决方案，我可以根据每次执行时从 java-app 更改变量来控制它。

按照文档，这应该可以通过使用 CHILD_PROCESS_LOGGER_NAME 选项来实现。所以我在这里定义了一个 java.util.logging.logger并将这段代码添加到我的工作启动器中：

SparkLauncher.setConfig(SparkLauncher.CHILD_PROCESS_LOGGER_NAME, "MyLog");

但这不起作用，日志文件是空的。我还尝试了 setConf(...) 或 addSparkArg(...) 等其他方法，但均未成功。我做错了什么？还是我应该更好地使用 log4j，进行自定义配置，并以任何方式将其提供给启动器？如果是，如何在我的 java-app 中执行此操作？

4

2 回答 2

1

下面是我用 slf4j-log4j 打印 sparkLauncher 日志的代码片段：

private static final Logger LOGGER = LoggerFactory.getLogger(JobSubmitter.class);

SparkLauncher launcher = new SparkLauncher()............;//prepare launcher

launcher.redirectToLog(JobSubmitter.class.getName());
        SparkAppHandle handler = launcher.startApplication();
        while (handler.getState() == null || !handler.getState().isFinal()) {
            if (handler.getState() != null) {
                LOGGER.info("Job state is :{} " , handler.getState());
                if (handler.getAppId() != null) {
                    LOGGER.info("App id: {} :: state:{}" , handler.getAppId() , handler.getState());
                }
            }
//Pause job to reduce job check frequency
            Thread.sleep(jobStatusCheckInterval ==0?DEFAULT_JOB_STATUS_CHECK_INTERVAL:jobStatusCheckInterval);
        }

如果您有任何疑问，请添加评论。

于 2017-08-21T06:18:15.347 回答
0

我尝试使用redirectOutput(java.io.File outFile) 并能够将所有sparkLauncher 的日志记录到outFile。

于 2018-03-07T20:50:40.693 回答