- 来源：EACL 2021 https://www.aclweb.org/anthology/2021.eacl-main.251.pdf
- 任务：实体关系抽取预训练模型
- 方法：四个预训练任务
- 实体的表示、实体对的表示都是通过 BERT+CNN+MLP 得到
- task1：mask 实体的一部分，预测实体类型
- task2：在句子里用 [M] 代替整个实体，预测这个实体
- task3：句子实体三元组作为正样本，实体在句子里打乱位置做为负样本，hinge loss 来做推拉
- task4：句子分成五部分 left context, e1, middle context, e2 and right context 全排列，预测正确的顺序
- finetune 还是老三样：entity span detection, entity typing, and relation typing.
- 实验：
- 性能上都是和 19 年的方法对比，不太了解这个领域
- 有意思的一点是，这个预训练在 BERT 的基础上，大体上是让实体抽取任务性能下降了，关系抽取任务性能上升了，总体上升？奇怪，这前两个 task 没有用吗？