ENPAR:Enhancing Entity and Entity Pair Representations for Joint Entity Relation Extraction

  • 来源:EACL 2021 https://www.aclweb.org/anthology/2021.eacl-main.251.pdf
  • 任务:实体关系抽取预训练模型
  • 方法:四个预训练任务
    • 实体的表示、实体对的表示都是通过 BERT+CNN+MLP 得到
    • task1:mask 实体的一部分,预测实体类型
    • task2:在句子里用 [M] 代替整个实体,预测这个实体
    • task3:句子实体三元组作为正样本,实体在句子里打乱位置做为负样本,hinge loss 来做推拉
    • task4:句子分成五部分 left context, e1, middle context, e2 and right context 全排列,预测正确的顺序
    • finetune 还是老三样:entity span detection, entity typing, and relation typing.
  • 实验:
    • 性能上都是和 19 年的方法对比,不太了解这个领域
    • 有意思的一点是,这个预训练在 BERT 的基础上,大体上是让实体抽取任务性能下降了,关系抽取任务性能上升了,总体上升?奇怪,这前两个 task 没有用吗?

发表评论