TL;博士
Spark 1.6.1 无法在没有 HDFS 且 IOException 的独立集群上使用 Spark CSV 1.4 写入 CSV 文件 Mkdirs failed to create file
更多细节:
我正在使用带有 Scala 的本地文件系统(我正在运行的机器上甚至没有 HDFS)在独立集群上运行 Spark 1.6.1 应用程序。我有这个数据框,我正在尝试使用 HiveContext 将其保存为 CSV 文件。
这就是我正在运行的:
exportData.write
.mode(SaveMode.Overwrite)
.format("com.databricks.spark.csv")
.option("delimiter", ",")
.save("/some/path/here") // no hdfs:/ or file:/ prefix in the path
我使用的 Spark CSV 是 1.4。运行此代码时,出现以下异常:
WARN TaskSetManager:70 - Lost task 4.3 in stage 10.0: java.io.IOException: Mkdirs failed to create file: /some/path/here/_temporary/0
完整的堆栈跟踪是:
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:801)
at org.apache.hadoop.mapred.TextOutputFormat.getRecordWriter(TextOutputFormat.java:123)
at org.apache.spark.SparkHadoopWriter.open(SparkHadoopWriter.scala:91)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1193)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1185)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
at org.apache.spark.scheduler.Task.run(Task.scala:89)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
输出目录确实被创建但它是空的。
我尝试使用 spark shell 运行它,我所做的是创建一个虚拟数据框,然后使用完全相同的代码保存它(也保存到相同的路径)。它成功了。
我检查了我正在写入的文件夹的权限并将其更改为 777 但基本上它在运行 Spark 作业时仍然不起作用
谷歌搜索它建议:
- 通过删除我没有的 hdfs:/ 来更改文件前缀。我还尝试添加 file:/, file://, file:/// 前缀但没有成功
- 权限问题 - 我尝试通过创建文件夹 777 来解决这个问题
- 一些可能与我无关的 MacBook 问题,因为我正在使用 Ubuntu
- 安全问题 - 检查我的堆栈跟踪,我找不到任何安全故障。
- 删除文件路径开头的 / 前缀 - 我也尝试过,但没有成功
- 关于这个问题的其他未回答的问题
有谁知道到底是什么问题?以及如何克服它?
提前致谢