1 
sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema","true").option("parserLib", "UNIVOCITY").option("escape","\"").load("file.csv")

当我使用上面的代码创建数据框时，出现以下错误：

错误执行程序：阶段 1.0 (TID 1) 中任务 0.0 中的异常 java.lang.AbstractMethodError: com.databricks.spark.csv.readers.BulkCsvReader.aggregate(Ljava/lang/Object;Lscala/Function2;Lscala/Function2;)Ljava /语言/对象；

如果我避免使用 parseLib 选项它运行良好。我想将 spark-csv 解析器设置为 Univocity，同时 spark csv 应该使用 inferSchema 识别数据类型。

注意：我使用的是 spark-csv 1.3（它不适用于任何版本） Spark：1.6.2 Scala：2.10.5

谢谢。

4

1 回答 1

1

我无法解决。但是我找到了在外部定义模式并使用“univocity”解析器读取 csv 的解决方法。

于 2016-10-26T06:24:35.997 回答