这篇文章声称DataFrame
Spark 中的 a 等价于 a Dataset[Row]
,但是这篇博文显示 aDataFrame
有一个模式。
以博客文章中将 RDD 转换为 a 的示例为例DataFrame
:如果DataFrame
与 相同Dataset[Row]
,那么将 an 转换RDD
为 aDataFrame
应该一样简单
val rddToDF = rdd.map(value => Row(value))
但相反,它表明它是这个
val rddStringToRowRDD = rdd.map(value => Row(value))
val dfschema = StructType(Array(StructField("value",StringType)))
val rddToDF = sparkSession.createDataFrame(rddStringToRowRDD,dfschema)
val rDDToDataSet = rddToDF.as[String]
显然,数据框实际上是行和模式的数据集。