1

我正在 play-scala 应用程序中从 1.6 升级到 spark 2.0，但不太确定如何设置我想要的 jar 文件。以前会定义一个 SparkConf，我可以调用的方法之一是 setJars，它允许我指定我想要的所有 jar 文件。现在我正在使用 SparkSession 构建器来构建我的 spark conf 和 spark 上下文，我没有看到任何类似的方法来指定 jar 文件？我怎样才能做到这一点？

这是我之前创建 sparkconf 的方式：

val sparkConf = new SparkConf().setMaster(sparkMaster).setAppName(sparkAppName).
  set("spark.yarn.jar", "hdfs:///user/hadoop/spark-assembly-1.6.1-hadoop2.7.2.jar").
  set("spark.eventLog.dir", "hdfs:///var/log/spark/apps").
  set("spark.eventLog.enabled", "true").
  set("spark.executorEnv.JAVA_HOME", "/usr/lib/jvm/jre-1.8.0-openjdk").
  setJars(Seq(
    "ALL JAR FILES LISTED HERE"
  ))

我可以使用 sparksession builder 来完成与“setJars”相同的事情吗？

4

1 回答 1

10

您可以使用.config(key, value)方法设置spark.jars：

SparkSession.builder
 .appName(sparkAppName)
 .master(sparkMaster)
 .config("spark.jars", commaSeparatedListOfJars)
 .config(/* other stuff */)
 .getOrCreate()
于 2017-01-18T15:22:17.913 回答