apache-spark - Spark另存为CSV不要忽略空格

Question

我正在尝试将 Dataframe 保存为 CSV 文件，我想保留空格。我使用的是 Spark 2.1.1，但是当我尝试将其保存为 CSV 文件时，所有空格都被修剪了。

我尝试了这些选项，但没有奏效。

option("ignoreLeadingWhiteSpace",false")
  .option("ignoreTrailingWhiteSpace", "false")

预期的 CSV 格式

SiteNumber, batch ,DayBatchDate,RecordType   
    190000,    TBD,  12/12/2017,  +00000001

我当前的输出：

SiteNumber, batch ,DayBatchDate,RecordType   
190000,TBD,12/12/2017,+00000001

Answer 1

ignoreLeadingWhiteSpace在 Spark 2.2 ( SPARK-18579ignoreTrailingWhiteSpace )中引入了 writer 的选项， 因此在 Spark 2.1 中不会生效。