我想将'yyyyMMdd'的火花数据框字符串列转换为带有火花会话(火花)的日期格式 - 而不是火花上下文。
由于我没有使用 spark 上下文 (sc),因此我无法使用以下代码,尽管它会完全按照我的意愿执行:
.withColumn("column1",DF.to_date(F.col("column1"),"yyyyMMdd"))
由于我不想将列转换为时间戳,我也不想使用以下代码:
.withColumn("column1", unix_timestamp(col("column1"), "yyyyMMdd").cast("timestamp"))
最终目标是用日期格式的列替换以前的字符串列。
提前谢谢了!