0

我使用 allennlp 2.0 训练了一个多任务模型，现在想使用该allennlp predict命令预测新示例。

问题/错误： 我正在使用以下命令：allennlp predict results/model.tar.gz new_instances.jsonl --include-package mtl_sd --predictor mtlsd_predictor --use-dataset-reader --dataset-reader-choice validation

这给了我以下错误：

Traceback (most recent call last):
File ".../mtl_sd_venv/bin/allennlp", line 10, in <module>
sys.exit(run())
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/__main__.py", line 34, in run
main(prog="allennlp")
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/__init__.py", line 119, in main
args.func(args)
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/predict.py", line 220, in _predict
manager.run()
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/predict.py", line 186, in run
for batch in lazy_groups_of(self._get_instance_data(), self._batch_size):
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/common/util.py", line 139, in lazy_groups_of
s = list(islice(iterator, group_size))
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/commands/predict.py", line 180, in _get_instance_data
yield from self._dataset_reader.read(self._input_file)
File ".../mtl_sd_venv/lib/python3.7/site-packages/allennlp/data/dataset_readers/multitask.py", line 31, in read
raise RuntimeError("This class is not designed to be called like this")
RuntimeError: This class is not designed to be called like this

据我了解，这就是发生的事情：

这个RuntimeError 由 MultiTaskDatasetReader 引发，因为 MultiTaskDatasetReader 的read()-method 不应被调用自身。- 方法应该只为特定的read()DatasetReaders 调用MultiTaskDatasetReader.readers。

调用 MultiTaskDatasetReader 的 read() 方法是因为在 jsonnet-config 中我指定了 DatasetsReaders，如下所示：

"dataset_reader": {
    "type": "multitask",
    "readers": {
        "SemEval2016": {
            "type": "SemEval2016",
            "max_sequence_length": 509,
            "token_indexers": {
                "bert": {
                    "type": "pretrained_transformer",
                    "model_name": "bert-base-cased"
                }
            },
            "tokenizer": {
                "type": "pretrained_transformer",
                "model_name": "bert-base-cased"
            }
        }, ...
    }
}

通常typedataset_reader 的 表示要实例化以进行预测的数据集读取器类。但是在这种情况下，type只是指向 MultiTaskDatasetReader，它没有read()实现 - 方法并且包含多个 DatasetReader。

据我了解，在使用时，allennlp predict我需要以某种方式指定应该使用多个 DatasetReaders 中的哪一个。

问题是：

如何指定MultiTaskDatasetReader.readers在执行时应该使用哪个特定的 DatasetReader（在多个 DatasetReader 中）allennlp predict？或更笼统地说：如何allennlp predict使用 MultiTaskDatasetReader 运行？

为了完整起见，附加代码： 预测器：

@Predictor.register('mtlsd_predictor')
class MTLSDPredictor(Predictor):

    def predict(self, sentence: str) -> JsonDict:
        return self.predict_json({'sentence': sentence})

    @overrides
    def _json_to_instance(self, json_dict: JsonDict) -> Instance:
        target = json_dict['text1']
        claim = json_dict['text2']
        return self._dataset_reader.text_to_instance(target, claim)
4

1 回答 1

0

这里有两个问题。一个是 AllenNLP 中的一个错误，已在 2.1.0 版中修复。另一个是@sinajdefault_predictor在他的模型头脑中缺少 。

于 2021-02-26T21:03:45.350 回答