我应该如何使用 spark 2.0 数据集 API 正确执行日期时间解析?
数据框/ RDD 有很多样本,例如
像这样的一类
case class MyClass(myField:java.sql.Datetime)
val mynewDf = spark.read
.option("header", "true")
.option("inferSchema", "true")
.option("charset", "UTF-8")
.option("delimiter", ",")
.csv("pathToFile.csv")
.as[MyClass]
不足以强制转换类型。我应该如何使用数据集 API 正确执行此操作?
编辑
加载数据工作。例如。aprint schema
显示myDateFiled: timestamp (nullable = true)
但是 myDf.show 会导致 a
java.lang.IllegalArgumentException
at java.sql.Date.valueOf(Date.java:143)
这让我相信我对日期的解析是不正确的。怎么会这样?