0

我正在尝试使用具有以下选项的 univocity csv 解析器来解析此csv 文件

选项 ：

HEADER -> true
DELIMITERS -> ,
MULTILINE -> true
DEFAULT_TIME_STAMP -> yyyy/MM/dd HH:mm:ss ZZ
IGNORE_TRAILING_WHITE_SPACE -> false
IGNORE_LEADING_WHITE_SPACE -> false
TIME_ZONE -> Asia/Kolkata
COLUMN_PRUNING -> true
ESCAPE -> "\""

val csvOptionsObject = new CSVOptions(readerOptions, COLUMN_PRUNING , TIME_ZONE)
val parserInstance = csvOptionsObject.asParserSettings
parserInstance.setLineSeparatorDetectionEnabled(true)
val parserObject = new CsvParser(parserInstance)
val readerStream = parserObject.beginParsing(dataObj.getInputStream, csvOptionsObject.charset)
val row = parserObject.parseNext()

该文件有 30 列，但是当我解析它时显示为 2302 行。

该文件有 \r 作为行分隔符。（正如我在解析时看到的那样）

将行分隔符显式设置为 \r 可解决此问题。但我也会将文件以 \n 作为分隔符替换为 \r。要解决此设置，将setNormalizedLineEndingWithinQuotes(false)解析 ，但在引用所有值的其他文件中失败。（再次无法检测到分隔符）。

任何可能的解决方法？

4

1 回答 1

0

默认情况下，使用 spark CSVOptions 中的 asParserSettings 将 inputBufferSize 更改为 128（spark 中的默认值），而 univocity csv 解析器中的默认值是 1048576。

添加此代码解决了问题，

val csvOptionsObject = new CSVOptions(readerOptions, COLUMN_PRUNING , TIME_ZONE)
val parserInstance = csvOptionsObject.asParserSettings
parserInstance.setLineSeparatorDetectionEnabled(true)
parserInstance.setInputBufferSize(1048576) // Setting it to match univocity parser's default value
val parserObject = new CsvParser(parserInstance)
val readerStream = parserObject.beginParsing(dataObj.getInputStream, csvOptionsObject.charset)
val row = parserObject.parseNext()
于 2019-11-19T08:14:37.367 回答