text-classification - 如何在 BertForSequenceClassification 之上添加额外的密集层？

Question

我想在分类层之前添加一个额外的层（和 dropout）（我正在使用 PyTorch 闪电）最好的方法是什么？

Answer 1

该类（在使用 PyTorch 闪电时BertForSequenceClassification来自 Huggingface Transformers ）实现了一个固定的架构。如果你想改变它（例如，通过添加层），你需要继承你自己的模块。

这实际上很简单。您可以在获取池化 BERT 输出和获取 logits 之间BertForSequenceClassification复制和修改代码。

但请注意，在微调 BERT 时，向分类器添加隐藏层并没有太大区别。与整个 BERT 层堆栈相比，附加隐藏层的容量可以忽略不计。即使你不能微调整个模型，微调最后一个 BERT 层也可能比在分类器中添加一个额外的层更好。