Learning from Context or Names? An Empirical Study on Neural Relation Extraction

  • 来源:EMNLP 2020
  • 机构:刘知远
  • 任务:RE
  • 动机:如题
  • 结论:主要从 context 提取信息,在 mention 中提取到的主要是 entity type 的信息,在 TACRED 上能看到,C+T 甚至好于 C+M,这是因为有时候 C+M 会用 mention 这个捷径,C+M may be biased by the entity distributions in the training set.
  • 文章提出了对比学习预训练的方法,用 wikidata 标注 wikipedia,表示同一个关系的句子作为正例对,用对比学习 loss + MLM loss 优化,86 万个句子做预训练,超过了 MTB
  • 思考:
    • 因此直接通过句子预测关系,其实也是可行的(58 vs 69)
    • 可是一句话多个关系怎么办呢?远程监督的噪音怎么办呢?上一条说的“可行”,或许只存在于预训练中?

发表评论