3

通过三个注释器，我们一直在使用 brat ( http://brat.nlplab.org/ ) 来注释三个类别的文本样本：PERS、ORG、GPE。我想计算该样本的 Inter Annotator Agreement。但是，我似乎没有找到一种简单的方法来做到这一点。我已经尝试过这个 Python 包：https ://github.com/savkov/BratUtils ，但它似乎失败了。

对于每个带注释的样本，我有三个 .ann 文件，我想为其计算 Inter Annotator Agreement。文件中的数据如下所示：

T1  Person 173 183  Alexanders
T2  Person 444 450  Hannah
T3  Person 754 766  Corneliszoon
T4  GPE 787 796 Antwerpen
T5  Person 824 833  Alexander

是否有一种简单的方法来计算 Inter Annotator Agreement（使用 Python 或基于 Web 的工具）？

4

1 回答 1

1

我设计了一个用于计算注释者一致性的工具。它主要针对 Doccano，但只需稍作调整，它就可以计算任何东西。请看一下：https ://github.com/vwoloszyn/diaa/

于 2019-10-08T10:28:53.610 回答