- 来源：EMNLP 2020
- 机构：刘知远
- 任务：RE
- 动机：如题
- 结论：主要从 context 提取信息，在 mention 中提取到的主要是 entity type 的信息，在 TACRED 上能看到，C+T 甚至好于 C+M，这是因为有时候 C+M 会用 mention 这个捷径，C+M may be biased by the entity distributions in the training set.
- 文章提出了对比学习预训练的方法，用 wikidata 标注 wikipedia，表示同一个关系的句子作为正例对，用对比学习 loss + MLM loss 优化，86 万个句子做预训练，超过了 MTB
- 思考：
- 因此直接通过句子预测关系，其实也是可行的（58 vs 69）
- 可是一句话多个关系怎么办呢？远程监督的噪音怎么办呢？上一条说的“可行”，或许只存在于预训练中？