Separating Retention from Extraction in the Evaluation of End-to-end Relation Extraction
2021-10-15 2021-10-15
来源：EMNLP 2021
机构：法国的学校
任务：Joint re
动机：其实 triple 作为知识，对于 re 也很有用。但我们希望评测的是模型关系抽取的能力，而不是 as KB 的能力啊
按照 train test 重叠分类：
ner：ACE05 里有很多 it 这种 entity，这类模糊的 entity 不好得到准确的 entity type；CoNLL04 就都是具体的实体；SciERC 里面很多 entity type 不唯一/ nested 实体
re：SciERc train test 没啥交集，另外两个就有
ner 性能上，训练集出现过的表现更好（多十个点而已）；re 上，出现过的表现也好得多（这个差得很多，三五十 -> 八九十）
交换 head tail
挑选头尾实体类型一样的 triple，交换头尾实体，如果预测结果一样，说明全靠之前的记忆（因为这时句子表达的就是反过来的关系了）这里 revRE – s 表示反过来之后，在原来gt 上的分数；re-s 表示 head tail 交换，gt 也反过来。这俩指标上 PURE 比别人好得多，本文作者将这个归结于 PURE 里面 ner re 有不同的表示
