apache-spark - 为什么 writeStream 不以增量格式写入，即使我已经对其进行了编码

Question

这是我的代码。writeStream 正在以“parquet”格式而不是以“delta”格式写入记录，即使我已经提到了 delta 格式。

spark
.readStream
.format("delta")
.option("latestFirst","true")
.option("ignoreDeletes", "true")
.option("ignoreChanges","true")
.load("/mnt/data-lake/data/bronze/accounts")
.writeStream
.format("delta")
.outputMode("append")
.option("checkpointLocation","/mnt/data-lake/tmp/chkpnt_accounts_inserts")
.option("path","/mnt/data-lake/tmp/accounts_inserts")
.start()

Answer 1

根据原始发布者的评论分享答案。

没有“增量格式”，而是在 _delta_log 目录中带有事务日志的镶木地板。如果有此目录，您可能使用的是 delta 格式。

我在我们给出“delta”的格式中提到了delta。我仍然理解它是镶木地板格式。但是，我的问题在下一次运行中得到了解决，并创建了 _delta_log 目录。