scala - 获取连接到 Apache Spark GraphX 中某个节点的所有节点

Question

假设我们在 Apache GraphX 中的输入为：

顶点RDD：

val vertexArray = Array(
  (1L, "Alice"),
  (2L, "Bob"),
  (3L, "Charlie"),
  (4L, "David"),
  (5L, "Ed"),
  (6L, "Fran")
)

边缘RDD：

val edgeArray = Array(
  Edge(1L, 2L, 1),
  Edge(2L, 3L, 1),
  Edge(3L, 4L, 1),
  Edge(5L, 6L, 1)
)

我需要连接到 Apache Spark GraphX 中节点的所有组件

1,[1,2,3,4]
5,[5,6]

score 11 · Accepted Answer

您可以使用ConnectedComponentswhich 返回

一个图，其顶点值包含包含该顶点的连接组件中的最低顶点 id。

并重塑结果

graph.connectedComponents.vertices.map(_.swap).groupByKey

1 回答 1