24

我需要能够解析 CSV 和 TSV 文件。我不能依靠用户知道区别，所以我想避免要求用户选择类型。有没有一种简单的方法来检测正在使用哪个分隔符？

一种方法是阅读每一行并计算制表符和逗号，并找出在每一行中最常用的。当然，数据可能包括逗号或制表符，因此说起来容易做起来难。

编辑：这个项目的另一个有趣的方面是，当我读入文件时，我还需要检测文件的模式，因为它可能是其中之一。这意味着在解析之前我不会知道我有多少字段。

4

13 回答 13

18

在 Python 中，csv 模块中有一个 Sniffer 类，可用于猜测给定文件的分隔符和引号字符。它的策略是（引用自 csv.py 的文档字符串）：

[首先，查找] 包含在两个相同的引号（可能的引号字符）之间的文本，这两个引号前后都有相同的字符（可能的分隔符）。例如：

         ,'some text',

赢得最多的报价，与分隔符相同。如果没有引号字符，则无法以这种方式确定分隔符。

在这种情况下，请尝试以下操作：

分隔符应在每一行上出现相同的次数。但是，由于数据格式不正确，它可能不会。我们不想要全有或全无的方法，所以我们允许这个数字有小的变化。

  1. 建立每行每个字符的频率表。
  2. 建立这个频率的频率表（元频率？），例如'x在10行中出现5次，在1000行中出现6次，在2行中出现7次'
  3. 使用元频率的模式来确定该 字符的预期频率
  4. 找出角色实际达到该目标的频率
  5. 最符合其目标的字符是分隔符

出于性能原因，数据以块的形式进行评估，因此它可以尝试评估数据的最小部分，并根据需要评估额外的块。

我不会在这里引用源代码——它位于每个 Python 安装的 Lib 目录中。

请记住，CSV 也可以使用分号而不是逗号作为分隔符（例如，在德语版本的 Excel 中，CSV 是用分号分隔的，因为在德国使用逗号作为小数分隔符......）

于 2009-04-17T21:40:48.617 回答
14

您可以在预览窗口中向他们展示结果 - 类似于 Excel 的方式。在这种情况下使用错误的分隔符时非常清楚。然后，您可以允许他们选择一系列分隔符并实时更新预览。

然后，您可以简单地猜测以分隔符开头（例如，逗号或制表符是否在前）。

于 2009-04-17T19:56:36.917 回答
6

我遇到了类似的需求，并认为我会分享我的想法。我还没有通过它运行大量数据，因此可能存在边缘情况。另外，请记住，此函数的目标不是 100% 确定分隔符，而是呈现给用户的最佳猜测。

/// <summary>
/// Analyze the given lines of text and try to determine the correct delimiter used. If multiple
/// candidate delimiters are found, the highest frequency delimiter will be returned.
/// </summary>
/// <example>
/// string discoveredDelimiter = DetectDelimiter(dataLines, new char[] { '\t', '|', ',', ':', ';' });
/// </example>
/// <param name="lines">Lines to inspect</param>
/// <param name="delimiters">Delimiters to search for</param>
/// <returns>The most probable delimiter by usage, or null if none found.</returns>
public string DetectDelimiter(IEnumerable<string> lines, IEnumerable<char> delimiters) {
  Dictionary<char, int> delimFrequency = new Dictionary<char, int>();

  // Setup our frequency tracker for given delimiters
  delimiters.ToList().ForEach(curDelim => 
    delimFrequency.Add(curDelim, 0)
  );

  // Get a total sum of all occurrences of each delimiter in the given lines
  delimFrequency.ToList().ForEach(curDelim => 
    delimFrequency[curDelim.Key] = lines.Sum(line => line.Count(p => p == curDelim.Key))
  );

  // Find delimiters that have a frequency evenly divisible by the number of lines
  // (correct & consistent usage) and order them by largest frequency
  var possibleDelimiters = delimFrequency
                    .Where(f => f.Value > 0 && f.Value % lines.Count() == 0)
                    .OrderByDescending(f => f.Value)
                    .ToList();

  // If more than one possible delimiter found, return the most used one
  if (possibleDelimiters.Any()) {
    return possibleDelimiters.First().Key.ToString();
  }
  else {
    return null;
  }   

}
于 2015-02-03T23:55:05.137 回答
4

你知道每行应该有多少个字段吗？如果是这样，我会阅读文件的前几行并据此进行检查。

根据我的经验，“正常”数据通常包含逗号，但很少包含制表符。这表明您应该检查前几行中的选项卡数量是否一致，并将该选择作为首选猜测。当然，这取决于您所拥有的数据。

最终，很有可能拥有一个对两种格式都完全有效的文件——所以你不能让它绝对万无一失。这必须是一项“尽力而为”的工作。

于 2009-04-17T19:56:05.437 回答
3

它在 PHP 中，但这似乎很可靠：

$csv = 'something;something;something
someotherthing;someotherthing;someotherthing
';
$candidates = array(',', ';', "\t");
$csvlines = explode("\n", $csv);
foreach ($candidates as $candidatekey => $candidate) {
 $lastcnt = 0;
 foreach ($csvlines as $csvline) {
  if (strlen($csvline) <= 2) continue;
  $thiscnt = substr_count($csvline, $candidate);
  if (($thiscnt == 0) || ($thiscnt != $lastcnt) && ($lastcnt != 0)) {
   unset($candidates[$candidatekey]);
   break;
  }
  $lastcnt = $thiscnt;
 }
}
$delim = array_shift($candidates);
echo $delim;

它的作用如下：对于每个指定的可能分隔符，它读取 CSV 中的每一行并检查每个分隔符出现的次数是否为常数。如果不是，则删除候选分隔符，最终您应该得到一个分隔符。

于 2010-08-23T22:00:47.403 回答
2

我想您建议的解决方案将是最好的方法。在格式良好的 CSV 或 TSV 文件中，每行逗号或制表符的数量应该是恒定的（根本没有变化）。对文件的每一行进行计数，并检查哪一个对于所有行都是恒定的。每行的两个分隔符的计数似乎不太可能相同，但在这种不可思议的罕见情况下，您当然可以提示用户。

如果制表符和逗号的数量都不是恒定的，则向用户显示一条消息，告诉他们该文件格式错误，但程序认为它是一个（任何格式的每行分隔符的标准偏差最低的）文件。

于 2009-04-17T19:58:21.610 回答
2

只需阅读几行，计算逗号的数量和制表符的数量并进行比较。如果有 20 个逗号且没有制表符，则为 CSV。如果有 20 个制表符和 2 个逗号（可能在数据中），则它在 TSV 中。

于 2009-04-17T20:02:44.423 回答
1

没有“有效”的方法。

于 2009-04-17T19:58:01.470 回答
1

假设每行有固定数量的字段，并且值中的任何逗号或制表符都用引号 (") 括起来，您应该能够计算出每行中每个字符的频率。如果字段不是t 已修复，这更难，如果不使用引号将其他分隔字符括起来，我怀疑这几乎是不可能的（并且取决于数据，特定于语言环境）。

于 2009-04-17T19:58:34.853 回答
1

根据我的经验，数据很少包含制表符，因此一行制表符分隔的字段（通常）会相当明显。

不过，逗号更难——尤其是当您在非美国语言环境中读取数据时。如果您正在阅读在国外生成的文件，数字数据可能包含大量逗号，因为浮点数通常会包含它们。

最后，唯一安全的做法通常是尝试，然后将其呈现给用户并允许他们进行调整，尤其是当您的数据包含逗号和/或制表符时。

于 2009-04-17T19:59:11.983 回答
1

我会假设在普通文本中，制表符非常罕见，除了作为一行中的第一个字符——想想缩进的段落或源代码。我认为，如果您发现嵌入的制表符（即不遵循逗号的制表符），您可以假设这些制表符被用作分隔符并且大部分时间都是正确的。这只是一种预感，没有经过任何研究证实。我当然会为用户提供覆盖自动计算模式的选项。

于 2009-04-17T20:01:36.530 回答
1

假设您有一组标准的列，您会期望...

我会使用 FileHelper（SourceForge 上的开源项目）。 http://filehelpers.sourceforge.net/

定义两种阅读器模板，一种用于昏迷，一种用于制表符。

如果第一个失败，请尝试第二个。

于 2009-04-17T21:09:26.883 回答
0

您可以检查一行是否使用一个分隔符或另一个，如下所示：

while ((line = readFile.ReadLine()) != null)
{
    if (line.Split('\t').Length > line.Split(',').Length) // tab delimited or comma delimited?
        row = line.Split('\t');
    else
        row = line.Split(',');

    parsedData.Add(row);
}
于 2013-08-15T12:14:07.587 回答