1

我正在使用 Univocity bean 处理器进行文件解析。我能够在我的本地盒子上成功使用它。但是在具有多个主机的环境中部署相同的代码时，解析器显示出不一致的行为。比如说对于无效文件，它不会处理失败，对于有效文件，它有时也会处理失败。

想知道bean处理器实现是否适合多线程分布式环境。

示例代码：

private void validateFile(@Nonnull final File inputFile) throws NonRetriableException {

    try {
        final BeanProcessor<TargetingInputBean> rowProcessor = new BeanProcessor<TargetingInputBean>(
                TargetingInputBean.class) {

            @Override
            public void beanProcessed(@Nonnull final TargetingInputBean targetingInputBean,
                    @Nonnull final ParsingContext context) {

                final String customerId = targetingInputBean.getCustomerId();
                final String segmentId = targetingInputBean.getSegmentId();
                log.debug("Validating customerId {} segmentId {}  for {} file", customerId, segmentId, inputFile
                        .getAbsolutePath());
                if (StringUtils.isBlank(customerId) || StringUtils.isBlank(segmentId)) {
                    throw new DataProcessingException("customerId or segmentId is blank");
                }

                try {
                    someValidation(customerId);
                } catch (IllegalArgumentException ex) {
                    throw new DataProcessingException(
                            String.format("customerId %s is not in required format. Exception"
                                    + " message %s", customerId, ex.getMessage()),
                            ex);
                }

            }
        };

        rowProcessor.setStrictHeaderValidationEnabled(true);

        final CsvParser parser = new CsvParser(getCSVParserSettings(rowProcessor));
        parser.parse(inputFile);
    } catch (TextParsingException ex) {
        throw new NonRetriableException(
                String.format("Exception=%s occurred while getting & parsing targeting file "
                        + "contents, error=%s", ex.getClass(), ex.getMessage()),
                ex);
    }

}

private CsvParserSettings getCSVParserSettings(@Nonnull final BeanProcessor<TargetingInputBean> rowProcessor) {

    final CsvParserSettings parserSettings = new CsvParserSettings();
    parserSettings.setProcessor(rowProcessor);
    parserSettings.setHeaderExtractionEnabled(true);
    parserSettings.getFormat().setDelimiter(AIRCubeTargetingFileConstants.FILE_SEPARATOR);
    return parserSettings;
}

目标输入Bean：

public class TargetingInputBean {

@Parsed(field = "CustomerId")
private String customerId;

@Parsed(field = "SegmentId")
private String segmentId;
}
4

1 回答 1

1

你用的是最新版本吗？

我刚刚意识到，如果我没记错的话，您可能会受到 2.5.0 版中引入的错误的影响，该错误已在 2.5.6 版中修复。这困扰了我一段时间，因为这是一个难以追踪的内部并发问题。基本上，当您传递一个没有显式编码的文件时，它会尝试在输入中找到一个 UTF BOM 标记（有效地消耗第一个字符）来自动确定编码。这只发生在 InputStreams 和 Files 上。

无论如何，这已得到修复，因此只需更新到最新版本即可为您解决问题（如果您没有使用 2.5.something 版本，请告诉我）

如果您想保留当前版本，如果您致电，错误将消失

parser.parse(inputFile, Charset.defaultCharset());

这将阻止解析器尝试发现您的文件中是否存在 BOM 标记，从而避免该讨厌的错误。

希望这可以帮助

于 2018-07-03T22:58:25.983 回答