allennlp - AllenNLP - 将测试集指标写入 Tensorboard 的配置

Question

运行 AllenNLPtrain或evaluateCLI 命令时，是否有配置选项（在 json/jsonnet 文件中）将测试集评估指标写入 Tensorboard？

如果没有，我怎么能在我自己的脚本中做到这一点？

提前感谢您的时间和帮助。此致

Answer 1

您可以将测试集作为配置文件中的验证集传入。但是，不建议将测试集视为评估集。

您还可以使用该allennlp evaluate命令将指标转储到用户指定的输出文件。

Answer 2

虽然这个命令会写一个 json 格式的度量文件，但它不能被 tesorboard 可视化。