Improving Document-level Relation Extraction via Contextualizing Mention Representations and Weighting Mention Pairs

  • 来源:ICKG 2020
  • 机构:北理
  • 任务:DocRE
  • 方法:没用图,具体步骤如下
    • encoder
    • 所有 mention 之间做 co-attention aggregation(这里是觉得 mention 在不同的 mention pair 里的意思不一样,所以找到 contextualized mention representations。而如果像其他的,一个 mention pair 要融入整个文本得到表示,复杂度会太高)
    • 头尾 mention 拼成 mention pair,所有 mention pair 之间做 self-attention(这里是觉得,在组成 entity pair 的 mention pair 之间,重要程度不同,所以要 weighted sum)
    • 聚合成 entity pair,分类
  • 性能
    • 它的 result 真的很奇怪,在这里,GCNN 和 BRAN 是他自己不使用外部数据复现的,结果和 Bi-LSTM 差不多,甚至更差?整体性能都好高,Bi-LSTM 都到 55 了,好想看看他是怎么实现的,我一定要看看代码。而且他不用 BERT 能达到 58.6,这也太厉害了吧?(后来发现,应该是使用了 BERT embedding)
    • 上面的所有 attention weights 都有可解释性,能用来预测 support evidence

发表评论