apache-spark - 在 Apache Spark SQL 中，如何从 HiveContext 关闭元存储连接

Question

我的项目对不同的 HiveContext 配置进行了单元测试（有时它们在一个文件中，因为它们按功能分组。）

升级到 Spark 1.4 后，我遇到很多“java.sql.SQLException：另一个 Derby 实例可能已经启动数据库”的问题，因为补丁使这些上下文无法共享同一个元存储。由于每次测试都恢复单例状态并不干净。我唯一的选择归结为通过终止先前的 Derby Metastore 连接来“回收”每个上下文。有没有办法做到这一点？

Answer 1

好吧，在 scala 中，我只是将 FunSuite 与 BeforeAndAfterAll 特征一起用于单元测试。然后你可以在 beforeAll 中初始化你的 sparkContext，从中生成你的 HiveContext 并像这样完成它：

  override def afterAll(): Unit = {
    if(sparkContext != null)
      sparkContext .stop()
  }

据我所知，它还关闭了附加到它的 HiveContext。