apache-spark - 持久化 Spark RDD 在另一个 Spark shell 中不可用

Question

我们有一个 Spark-1.1.0 独立的 2 节点集群，在该集群上使用 Spark shell 创建了 Spark RDD。RDD 已被持久化（MEMORY_ONLY）。我无法使用 sc.getPersistentRDDs() 从另一个 Spark shell 检索此 RDD。我错过了什么吗？

Answer 1

RDD 被持久化在SparkContext产生该 RDD 的上下文中，并且只能通过创建它们的 Spark 上下文访问。

这意味着您不能像使用第二个 Spark-shell 那样从另一个 SparkContext B 访问使用 SparkContext 创建的 RDD。