论文笔记 – Attention Guided Graph Convolutional Networks for Relation Extraction

Zhijiang Guo, et al., “Attention Guided Graph Convolutional Networks for Relation Extraction”, ACL 2019

  • 姓名:AGGCN
  • 机构:SUDT
  • 任务:n-ary RE
  • 流派:GCN
  • 动机:原先 GCN 都是基于 pruning 句法树,这不好,丢掉了好多信息
  • 方法:
    • word 全连接建图,邻接矩阵是 multi-head self-attn 得到很多个,在上面分别做 DCGCN,最后把这 multi-head 的结果拼接 reshape。
    • 以上是一个 block,整个模型有两个 block。
    • 还学习 contextual GCN,前面加个 LSTM,称之 C-AGGCN
  • 性能:SOTA @ pny, TACRED, SemEval
  • 短评:LSR 就是完全基于这个做的吧(都是 SUDT 自己人)!相当于 ① 优化 attn,基于矩阵树,更有道理了 ② 后面加个 reasoning
  • 思考
    • 能不能句法树和 attn 结合呢?比如在句法树的图上 attn(但是 table 5 似乎证实了这个想法行不通)
    • 想一下,在不考虑 block、dense 连接的这种情况下:在没有多头时,① AGGCN 使用 attention 得到邻接矩阵、用 GCN 做信息聚合,② 用全 1 的邻接矩阵做 GAT。 ① ② 相比,应该是完全没有区别?只不过在 multi-head 时,AGGCN 的这 multi-head 是每张图有各自的 head,GAT 的 multi-head 是每次信息聚合都将 multi-head aggregate。

发表评论