parameters - 如何调整 OOV 字的 FastText 参数？

Question

我已经听说 FastText 正在使用它的 n-gram 生成 OOV 词向量。它已经自动内置在 FastText 架构中，还是我们想要调整特定参数？就像 Keras 分词器中的 oov_tokens 一样。我已经在寻找要在快速文本中调整哪些参数，但我找不到任何参数。

如果有人知道并想分享他们的知识，我将非常感激。

谢谢你。

Answer 1

OOV 词的向量生成被集成到 fastText 中（至少在 Facebook 的原始实现中）。

为了生成这些向量，fastText 使用子词 n-grams。要了解更多信息，您可以阅读此主题和此视觉指南。

因此，对 OOV 词的向量创建影响最大的参数如下：

• minn（char ngram 的最小长度）
• maxn（char ngram 的最大长度）

有关 fastText 选项/参数的更多信息，请参阅官方文档。