问题标签 [spark-launcher]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
397 浏览

java - Scala、SparkLauncher 无法运行程序“/etc/spark/conf.cloudera.CD-SPARK_ON_YARN-brkvSOzr/yarn-conf/topology.py”

下面的代码构建为 jar 并通过 putty 使用 sparkSubmit 命令执行。它工作正常。

但是当我通过 SparkLauncher 运行相同的代码时,它会在下面引发错误,Master - Yarn-Cluster Spark - 1.6

0 投票
1 回答
949 浏览

java - SparkLauncher 使用 yarn-client 运行 spark-submit,用户为 hive

尝试使用masterURL=yarn-client. 使用 SparkLauncher 2.10。Java 代码封装在 nifi 处理器中。Nifi 当前以 root 身份运行。当我执行 yarn application -list 时,我看到 spark 作业以USER = root. 我想用USER = hive. 以下是我的 SparkLauncher 代码。

我是否需要将用户作为驱动程序额外选项传递?环境是非kerberos。在某处阅读我需要将用户名作为驱动程序额外的 java 选项传递。现在找不到那个帖子了!!

0 投票
1 回答
984 浏览

apache-spark - Spark Launcher 无法触发 spark Job?

我正在运行一个 spark 独立集群,其中有 3 个节点。一个是master,另外两个是worker。我在所有三个节点中都复制了/home/bizruntime/***.jar的所有三个节点中的作业,当我在 master 中使用 spark-submit 提交作业时,作业正在运行。

但是我的集群位于远程位置,我每次都无法访问主节点终端。所以我想使用 Spark Launcher 从我的笔记本电脑(一台 Windows 机器)中触发作业。但是,当我在笔记本电脑的 Eclipse 中运行我的 spark 启动程序时,它会启动一个驱动程序,我可以在 Spark UI 中看到该驱动程序,但随后会出现错误。当我在日志中检查错误时,因为在节点中找不到 jar。

我在 appResource() 函数 Spark 启动器中给出的路径是/home/bizruntime/***.jar这个。但他们正在$Eclipse_Worksapce/home/bizruntime/***.jar 中搜索 jar

我的问题是如何在没有 $Eclipse_Worksapce 的情况下给出绝对路径。

在此处输入图像描述

0 投票
2 回答
2332 浏览

java - 将 Spark Launcher 输出保存到文件

我正在使用 Java 应用程序和 Spark Launcher 以编程方式将我的作业提交到 spark-cluster(使用 YARN)(使用 startApplication(),而不是 launch() 开始作业)。我喜欢将所有日志输出(在执行 Java 应用程序时由启动器在 stdout 和 stderr 上生成)放在一个文件中,我可以使用 java-app 访问该文件。我不想更改全局 spark-log-config,我想要一个动态解决方案,我可以根据每次执行时从 java-app 更改变量来控制它。

按照文档,这应该可以通过使用 CHILD_PROCESS_LOGGER_NAME 选项来实现。所以我在这里定义了一个 java.util.logging.logger并将这段代码添加到我的工作启动器中:

但这不起作用,日志文件是空的。我还尝试了 setConf(...) 或 addSparkArg(...) 等其他方法,但均未成功。我做错了什么?还是我应该更好地使用 log4j,进行自定义配置,并以任何方式将其提供给启动器?如果是,如何在我的 java-app 中执行此操作?

0 投票
0 回答
514 浏览

apache-spark - 无法使用 SparkLauncher 和 SparkAppHandle 杀死 Spark 应用程序

根据此文档,使用 SparkLauncher 和方法启动/提交的 Spark 应用程序startApplication可以使用返回的 SparkAppHandle 和kill()方法终止,因为它是一个子进程。我尝试结合 CountDownLatch 和计时器来实现它,但它对我不起作用。带有 SparkLauncher 的 Java 应用程序在 20 分钟后完成,但之后 spark 应用程序仍在我的 YARN 集群上运行。

我正在使用以下代码:

` 我仍然想知道当 kill-command 已经在集群上运行时,它应该可以工作。

(拜托,有人可以修复代码片段吗?我的格式不正确-_-谢谢。)

0 投票
0 回答
244 浏览

apache-spark - 如何获取从 Spark Job 类返回的值到 Spark Launcher 类中

我正在使用下面的代码来启动 Spark 作业。

我想从com.test.FooClass 获取结果到启动 spark 应用程序的 Launcher 类中。

我不想将值写入临时文件并从 Launcher 类中读取它。有没有办法获得从 spark 主类返回的所需值com.test.Foo

有没有办法将值设置为当前会话并在需要的地方获取它?

0 投票
2 回答
1382 浏览

apache-spark - 使用 spark 启动器时将参数传递给 jar

我正在尝试创建一个可执行 jar,它使用spark 启动器运行另一个具有数据转换任务的 jar(此 jar 创建 spark 会话)。

我需要将 java 参数(一些 java 数组)传递给由启动器执行的 jar。

我怎样才能做到这一点?

0 投票
2 回答
193 浏览

pentaho - pentaho CDE 中组件社区启动选项卡 (CST) 的困难

请问,如何创建带有链接的选项卡?

error:错误处理组件(tableC)

或者在系统中运行现有的仪表板(Sparkl App Pentaho)?


error:错误处理组件(tableC)

谢谢。

0 投票
2 回答
291 浏览

apache-spark - SparkLauncher 构造函数不起作用

我需要从运行在 Liberty (17.0.0.2) 上的 Web 应用程序启动的线程运行 Spark 作业。这部署在 Docker 容器上。

我可以通过从 java 代码启动的 spark-submit 脚本启动 spark (2.2.0) 作业来完成这项工作。但是,我想删除脚本调用并使用 SparkLauncher。当我这样做时,代码会挂在 SparkLauncher 构造函数上。构造函数不会返回任何阻塞整个工作的东西。在下面的代码中调用构造函数后,我看不到日志。

关于如何进一步调试的任何线索?我找不到包含任何信息的日志来调试此问题。

0 投票
0 回答
43 浏览

apache-spark - Spark Launcher 连接时间

在通过远程从一个虚拟机连接到同一主机中的另一台虚拟机(部署模式是客户端)通过火花启动器连接时,建立连接需要 40 秒,任何人都可以建议我减少这个时间,以便我可以执行和使用它在现实世界的应用程序中。(我主要关心的是以编程方式执行 spark submit 命令,如果有任何其他选项,请建议我)。