3

TL;博士

Spark 1.6.1 无法在没有 HDFS 且 IOException 的独立集群上使用 Spark CSV 1.4 写入 CSV 文件 Mkdirs failed to create file

更多细节:

我正在使用带有 Scala 的本地文件系统(我正在运行的机器上甚至没有 HDFS)在独立集群上运行 Spark 1.6.1 应用程序。我有这个数据框,我正在尝试使用 HiveContext 将其保存为 CSV 文件。

这就是我正在运行的:

exportData.write
      .mode(SaveMode.Overwrite)
      .format("com.databricks.spark.csv")
      .option("delimiter", ",")
      .save("/some/path/here") // no hdfs:/ or file:/ prefix in the path

我使用的 Spark CSV 是 1.4。运行此代码时,出现以下异常:

WARN  TaskSetManager:70 - Lost task 4.3 in stage 10.0: java.io.IOException: Mkdirs failed to create file: /some/path/here/_temporary/0

完整的堆栈跟踪是:

at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:442)
        at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:428)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:908)
        at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:801)
        at org.apache.hadoop.mapred.TextOutputFormat.getRecordWriter(TextOutputFormat.java:123)
        at org.apache.spark.SparkHadoopWriter.open(SparkHadoopWriter.scala:91)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1193)
        at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1$$anonfun$13.apply(PairRDDFunctions.scala:1185)
        at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:66)
        at org.apache.spark.scheduler.Task.run(Task.scala:89)
        at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:214)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

输出目录确实被创建但它是空的。

我尝试使用 spark shell 运行它,我所做的是创建一个虚拟数据框,然后使用完全相同的代码保存它(也保存到相同的路径)。它成功了。

我检查了我正在写入的文件夹的权限并将其更改为 777 但基本上它在运行 Spark 作业时仍然不起作用

谷歌搜索它建议:

  • 通过删除我没有的 hdfs:/ 来更改文件前缀。我还尝试添加 file:/, file://, file:/// 前缀但没有成功
  • 权限问题 - 我尝试通过创建文件夹 777 来解决这个问题
  • 一些可能与我无关的 MacBook 问题,因为我正在使用 Ubuntu
  • 安全问题 - 检查我的堆栈跟踪,我找不到任何安全故障。
  • 删除文件路径开头的 / 前缀 - 我也尝试过,但没有成功
  • 关于这个问题的其他未回答的问题

有谁知道到底是什么问题?以及如何克服它?

提前致谢

4

1 回答 1

0

好的,所以我发现了问题,希望这对其他人有帮助

显然,我正在运行的机器上安装了 hadoop。当我运行hadoop version它时输出: Hadoop 2.6.0-cdh5.7.1 这与我的 Spark 版本冲突

另外,我不太确定它是否相关,但我是从 root 运行 spark 而不是作为 Spark 用户运行,这可能会导致一些权限问题

在将 hadoop 版本与我们的 spark 匹配(在我们的例子中,我们将 Spark 匹配为 cloudera 的 Spark)并以 Spark 用户身份运行代码后,此故障停止发生

于 2016-07-17T07:19:51.750 回答