- 来源:EACL 2021 https://www.aclweb.org/anthology/2021.eacl-main.251.pdf
- 任务:实体关系抽取预训练模型
- 方法:四个预训练任务
- 实体的表示、实体对的表示都是通过 BERT+CNN+MLP 得到
- task1:mask 实体的一部分,预测实体类型
- task2:在句子里用 [M] 代替整个实体,预测这个实体
- task3:句子实体三元组作为正样本,实体在句子里打乱位置做为负样本,hinge loss 来做推拉
- task4:句子分成五部分 left context, e1, middle context, e2 and right context 全排列,预测正确的顺序
- finetune 还是老三样:entity span detection, entity typing, and relation typing.
- 实验:
- 性能上都是和 19 年的方法对比,不太了解这个领域
- 有意思的一点是,这个预训练在 BERT 的基础上,大体上是让实体抽取任务性能下降了,关系抽取任务性能上升了,总体上升?奇怪,这前两个 task 没有用吗?