python - 在 Spacy 3.0 中使用预训练的 BERT 嵌入作为 textcat 模型的输入

Question

我正在尝试切换到 Spacy 3.0 的培训配置文件框架，并且无法将设置调整为我想做的事情。简单地说，我想使用一个开箱即用的 textcat 模型（例如，词袋），但传入由预训练的转换器（例如，bert base cased）产生的词嵌入，而不进行任何微调。到目前为止，我一直在使用 Spacy 网站上提供的 texcat 配置模板。

任何帮助将非常感激。如有必要，我可以提供更多详细信息。谢谢！

Answer 1

试试下面的配置。-G切换到 atransformer并-o accuracy切换到 textcat 集成模型：

spacy init config -p textcat -G -o accuracy config.cfg

请参阅：https ://spacy.io/api/architectures#TextCatEnsemble