python - ARPA 文件的 Python 接口

Question

我正在寻找一个 pythonic 接口来加载 ARPA 文件（回退语言模型）并使用它们来评估一些文本，例如获取它的对数概率、困惑度等。

我不需要在 Python 中生成 ARPA 文件，仅用于查询。

有人有推荐的套餐吗？我已经看过kenlm和swig-srilm，但是第一个很难在 Windows 中设置，第二个似乎不再维护。

score 4 · Accepted Answer

我找到了一个很好的开发中的包，叫做pynlpl，它完全符合我的需要，依赖很少（libxml2 就足够了），它为 ARPA 文件提供了一个纯 pythonic 实现

score 2 · Accepted Answer

ARPA 包呢？

它相当轻巧。它的 API 也非常直观且易于学习。尽管它不如 kenlm 快，但您可能仍想尝试一下。

2 回答 2