跳至内容
- 来源:ICKG 2020
- 机构:北理
- 任务:DocRE
- 方法:没用图,具体步骤如下
- encoder
- 所有 mention 之间做 co-attention aggregation(这里是觉得 mention 在不同的 mention pair 里的意思不一样,所以找到 contextualized mention representations。而如果像其他的,一个 mention pair 要融入整个文本得到表示,复杂度会太高)
- 头尾 mention 拼成 mention pair,所有 mention pair 之间做 self-attention(这里是觉得,在组成 entity pair 的 mention pair 之间,重要程度不同,所以要 weighted sum)
- 性能
- 它的 result 真的很奇怪,在这里,GCNN 和 BRAN 是他自己不使用外部数据复现的,结果和 Bi-LSTM 差不多,甚至更差?整体性能都好高,Bi-LSTM 都到 55 了,好想看看他是怎么实现的,我一定要看看代码。而且他不用 BERT 能达到 58.6,这也太厉害了吧?(后来发现,应该是使用了 BERT embedding)
- 上面的所有 attention weights 都有可解释性,能用来预测 support evidence