Integrating Subgraph-aware Relation and Direction Reasoning for Question Answering

  • 来源:arXiv 2104.00218v1
  • 姓名:RDAS(Relation-updated Direction-guided Answer Selector)
  • 机构:北邮
  • 任务:KBQA
  • 动机:别人直接在 KG 上 GCN,这样的 reasoning 不行(原文:these models simply treat the reasoning direction as arbitrary)。本文要 ① 推断时是带方向的 ② 引入关系和实体子图之间的交互
  • 方法:本文将 relation 搞成 node,参考人类直觉,从 seed node (the entity which resides in the question) 出发,向外“散开”进行推断。具体步骤如下:
    • 如左图所示,将 relation 转化成 node 插入图中。图中的边全搞成双向的边。
    • KBQA 的任务是给一个 query 和一个子图,在上面找 entity 作为答案。于是就如右图所示,先找出 seed node,然后只保留从 seed 向外扩散的边。
    • 初始化节点表示,均使用节点上的文本的 embedding 来表示节点。因此 relation 也是由 relation 的文本来表示的!这个我觉得很不错。
    • 节点表示后面还拼接了节点到中心节点的距离,这个距离向量就是词 “0” “1” “2” 的 embedding,也很有意思!感觉要比那种专门的 embedding 要好!可以参考!(其实这个思想就是,把所有信息都尽可能用预训练得到的知识来表示)
    • 节点表示 reshape 之后,还拼上了 query 的表示(LSTM 得到),以防止 question agnostic nodes
    • 接下来的推断就是直接 GCN,只不过让当前层和上一层的表示之间有个带权重的融合(算是显式求参数的 res 链接?):



      上面明明说是从中心散开,现在又开始整体的 GCN,感觉上是可以有更细致优雅的方法的。但是现在的做法也是能达到“中心散开”的动机了,我觉得是挺有道理的。
    • 最后就对每一个节点,softmax 分类“是否是答案”
  • 思考:
    • 将 relation 改成 node,这真的好吗?感觉跟 trans 和 rotate 比起来,没有那么有道理… 而且这样的图上用 GCN 传播信息,还能叫 inference 或者 reasoning 吗? entity node 和 relation node 之间的信息传递,这似乎只是信息传递吧。
    • relation 和 距离 的 embedding 方法很 impressive
    • gated GCN 不知道是从哪里看到的,或者是作者原创的。我现在还不太能想清楚这样加 gate 的原因和结果(而且文中也没有关于这个 gate 的 ablation study),以后要留意一下有没有这个的理论分析文章。

发表评论

您的电子邮箱地址不会被公开。