问题标签 [spark-launcher]

下面的代码构建为 jar 并通过 putty 使用 sparkSubmit 命令执行。它工作正常。

但是当我通过 SparkLauncher 运行相同的代码时，它会在下面引发错误，Master - Yarn-Cluster Spark - 1.6

尝试使用masterURL=yarn-client. 使用 SparkLauncher 2.10。Java 代码封装在 nifi 处理器中。Nifi 当前以 root 身份运行。当我执行 yarn application -list 时，我看到 spark 作业以USER = root. 我想用USER = hive. 以下是我的 SparkLauncher 代码。

我是否需要将用户作为驱动程序额外选项传递？环境是非kerberos。在某处阅读我需要将用户名作为驱动程序额外的 java 选项传递。现在找不到那个帖子了！！

我正在运行一个 spark 独立集群，其中有 3 个节点。一个是master，另外两个是worker。我在所有三个节点中都复制了/home/bizruntime/***.jar的所有三个节点中的作业，当我在 master 中使用 spark-submit 提交作业时，作业正在运行。

但是我的集群位于远程位置，我每次都无法访问主节点终端。所以我想使用 Spark Launcher 从我的笔记本电脑（一台 Windows 机器）中触发作业。但是，当我在笔记本电脑的 Eclipse 中运行我的 spark 启动程序时，它会启动一个驱动程序，我可以在 Spark UI 中看到该驱动程序，但随后会出现错误。当我在日志中检查错误时，因为在节点中找不到 jar。

我在 appResource() 函数 Spark 启动器中给出的路径是/home/bizruntime/***.jar这个。但他们正在$Eclipse_Worksapce/home/bizruntime/***.jar 中搜索 jar

我的问题是如何在没有 $Eclipse_Worksapce 的情况下给出绝对路径。

我正在使用 Java 应用程序和 Spark Launcher 以编程方式将我的作业提交到 spark-cluster（使用 YARN）（使用 startApplication()，而不是 launch() 开始作业）。我喜欢将所有日志输出（在执行 Java 应用程序时由启动器在 stdout 和 stderr 上生成）放在一个文件中，我可以使用 java-app 访问该文件。我不想更改全局 spark-log-config，我想要一个动态解决方案，我可以根据每次执行时从 java-app 更改变量来控制它。

按照文档，这应该可以通过使用 CHILD_PROCESS_LOGGER_NAME 选项来实现。所以我在这里定义了一个 java.util.logging.logger并将这段代码添加到我的工作启动器中：

但这不起作用，日志文件是空的。我还尝试了 setConf(...) 或 addSparkArg(...) 等其他方法，但均未成功。我做错了什么？还是我应该更好地使用 log4j，进行自定义配置，并以任何方式将其提供给启动器？如果是，如何在我的 java-app 中执行此操作？

根据此文档，使用 SparkLauncher 和方法启动/提交的 Spark 应用程序startApplication可以使用返回的 SparkAppHandle 和kill()方法终止，因为它是一个子进程。我尝试结合 CountDownLatch 和计时器来实现它，但它对我不起作用。带有 SparkLauncher 的 Java 应用程序在 20 分钟后完成，但之后 spark 应用程序仍在我的 YARN 集群上运行。

我正在使用以下代码：

` 我仍然想知道当 kill-command 已经在集群上运行时，它应该可以工作。

（拜托，有人可以修复代码片段吗？我的格式不正确-_-谢谢。）

我正在使用下面的代码来启动 Spark 作业。

我想从com.test.FooClass 获取结果到启动 spark 应用程序的 Launcher 类中。

我不想将值写入临时文件并从 Launcher 类中读取它。有没有办法获得从 spark 主类返回的所需值com.test.Foo。

有没有办法将值设置为当前会话并在需要的地方获取它？

我正在尝试创建一个可执行 jar，它使用spark 启动器运行另一个具有数据转换任务的 jar（此 jar 创建 spark 会话）。

我需要将 java 参数（一些 java 数组）传递给由启动器执行的 jar。

我怎样才能做到这一点？

请问，如何创建带有链接的选项卡？

error：错误处理组件（tableC）

或者在系统中运行现有的仪表板（Sparkl App Pentaho）？

error：错误处理组件（tableC）

谢谢。

我需要从运行在 Liberty (17.0.0.2) 上的 Web 应用程序启动的线程运行 Spark 作业。这部署在 Docker 容器上。

我可以通过从 java 代码启动的 spark-submit 脚本启动 spark (2.2.0) 作业来完成这项工作。但是，我想删除脚本调用并使用 SparkLauncher。当我这样做时，代码会挂在 SparkLauncher 构造函数上。构造函数不会返回任何阻塞整个工作的东西。在下面的代码中调用构造函数后，我看不到日志。

关于如何进一步调试的任何线索？我找不到包含任何信息的日志来调试此问题。

在通过远程从一个虚拟机连接到同一主机中的另一台虚拟机（部署模式是客户端）通过火花启动器连接时，建立连接需要 40 秒，任何人都可以建议我减少这个时间，以便我可以执行和使用它在现实世界的应用程序中。（我主要关心的是以编程方式执行 spark submit 命令，如果有任何其他选项，请建议我）。