2

我有一个 VertexRDD[DenseVector[Double]] 并且我想将它转换为一个数据帧。我不明白如何将 DenseVector 中的值映射到数据框中的新列。

我正在尝试将架构指定为：

val schemaString = "id prop1 prop2 prop3 prop4 prop5 prop6 prop7"
val schema = StructType(schemaString.split(" ").map(fieldName => StructField(fieldName, StringType, true)))

我认为一个选项是将我的 VertexRDD（breeze.linalg.DenseVector 保存所有值的地方）转换为 RDD[Row]，以便我最终可以创建一个数据框，如：

val myRDD = myvertexRDD.map(f => Row(f._1, f._2.toScalaVector().toSeq))
val mydataframe = SQLContext.createDataFrame(myRDD, schema)

但我得到一个

// scala.MatchError: 20502 (of class java.lang.Long)

任何提示都非常受欢迎

4

1 回答 1

2

处理此问题的一种方法：

import org.apache.spark.sql.Row
import org.apache.spark.sql.types.{StructType, StructField, LongType, DoubleType}

val rows = myvertexRDD.map{
  case(id, v) => Row.fromSeq(id +: v.toArray)
}

val schema = StructType(
  StructField("id", LongType, false) +: 
  (1 to 7).map(i => StructField(s"prop$i", DoubleType, false)))

val df = sqlContext.createDataFrame(rows, schema)

笔记：

  • 声明的类型必须与实际类型匹配。您不能声明字符串并传递 long 或 double
  • 行的结构必须与声明的结构相匹配。在您的情况下，您尝试使用 aLong和 an创建行，Vector[Double]但声明 8 列
于 2015-12-31T11:29:22.560 回答