2

我的整个 build.sbt 是：

name := """sparktest"""

version := "1.0.0-SNAPSHOT"

scalaVersion := "2.11.8"

scalacOptions := Seq("-unchecked", "-deprecation", "-encoding", "utf8", "-Xexperimental")

parallelExecution in Test := false

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "2.0.2",
  "org.apache.spark" %% "spark-sql" % "2.0.2",
  "org.apache.avro" % "avro" % "1.8.1",

  "org.scalatest" %% "scalatest" % "3.0.1" % "test",
  "com.holdenkarau" %% "spark-testing-base" % "2.0.2_0.4.7" % "test"
)

我有一个简单的测试。显然，这只是一个起点，我想测试更多：

package sparktest

import com.holdenkarau.spark.testing.DataFrameSuiteBase

import org.scalatest.FunSuite

class SampleSuite extends FunSuite with DataFrameSuiteBase {
  test("simple test") {
    assert(1 + 1 === 2)
  }
}

我运行sbt clean test并失败：

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf$ConfVars

对于我的开发环境，我使用的是 spark-2.0.2-bin-hadoop2.7.ta​​r.gz

我必须以任何方式配置此环境吗？显然 HiveConf 是一个传递的 Spark 依赖

4

1 回答 1

3

正如@daniel-de-paula 在评论中提到的那样，您需要将 spark-hive 添加为显式依赖项（您可以将其限制在测试范围内，尽管如果您没有在应用程序中使用 hive 本身）。spark-hive 不是 spark-core 的传递依赖，这就是发生此错误的原因。spark-hive 作为依赖项从 spark-testing-base 中排除，因此仅进行 RDD 测试的人不需要将其添加为依赖项。

于 2016-12-18T02:39:35.660 回答