1

尝试在 Spark2 中运行 JavaSparkSQLExample。使用 spark-core_2.11-2.0.2 和 spark-sql_2.11-2.0.2。有一个错误：The method createGlobalTempView(String) is undefined for the type Dataset<Row>.

实际上最新的 API 文档没有定义这个方法。编程指南也有这个。任何人都对此有所了解。

此外，我们如何建立会话 - 因为你不能'运行：.config("spark.some.config.option", "some-value"). 

SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
4

1 回答 1

0

  • 根据您的评论，您正在查看 Spark nightly build 的编程指南。它基于 master 分支并包含尚未发布的代码。最有可能的是，它将登陆 Spark 2.2.0。另一方面，您的工件和 API 文档适用于最新的官方可用 Spark 版本 - 2.0.2。createGlobalTempView()仅出现在 2.1 中（即将推出但也不可用）。因此，您不能createGlobalTempView()与 Spark 2.0.2（工件的版本）一起使用。要查看 Spark 2.0.2 中的可用功能，请参阅本指南。

  • 每个 Spark 应用程序都需要一个主 URL。您可以将其作为参数传递给spark-submit或直接在代码中设置：

    val spark = SparkSession.builder() .appName("App name") .master("local[4]") .getOrCreate()

于 2016-12-07T21:15:10.140 回答