我尝试建立一个德国ner,通过huggingface管道用bert进行预训练。对于某些文本,以下代码针对“ner = classifier(text)”行抛出错误“RuntimeError:张量 a (921) 的大小必须与非单维 1 处的张量 b (512) 的大小相匹配”。
我已经对stackoverflow进行了一些研究,这是我发现的最相似的问题:张量a(707)的大小必须与非单维1的张量b(512)的大小相匹配
解决方案听起来不错,我只是不知道在使用拥抱脸管道时可以在哪里指定这些设置。我需要对代码进行哪些更改才能使其正常工作?
谢谢!
from transformers import pipeline
classifier = pipeline('ner', model="fhswf/bert_de_ner", grouped_entities=True)
text = (dic[pi].text)
ner = classifier(text)