apache-spark - 带有 partitionBy 的 Spark SQL dataframe.save 正在创建一个数组列

Question

我正在尝试将 Spark SQL 数据帧的数据保存到配置单元。要存储的数据应按数据框中的列之一进行分区。为此，我编写了以下代码。

val conf = new SparkConf().setAppName("Hive partitioning")
conf.set("spark.scheduler.mode", "FAIR")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
hiveContext.setConf("hive.exec.dynamic.partition", "true")
hiveContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")

val df = hiveContext.sql("....   my sql query ....")

df.printSchema()
df.write.mode(SaveMode.Append).partitionBy("<partition column>").saveAsTable("orgs_partitioned")

col数据框被存储为一个名为和类型的单列的表array<string>，结构如下所示（来自 Hue 的屏幕截图）。

任何指针都非常有帮助。谢谢。