QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering

  • 来源:arXiv:2104.06378v1 [cs.CL] 13 Apr 2021
  • 机构:Stanford
  • 任务:multi hop KBQA
  • 动机:
    • 结合 PLM 和 KG:PLM 有丰富先验知识,但是不擅长 structured reasoning;KG 适合 structured reasoning,但是覆盖不够、噪音大
    • 别人直接从问题和答案的 entity 在 KG 里抽子图:太乱,很多无关节点
  • 方法:引入问题与图中节点的相似度,作为图中节点的重要程度信息
    这张图里面说把 QA context 当做一个节点,实际上并没有在 GNN 传播时用上,只是给其它节点打分罢了
    打分就是直接拼接输入 RoBERTa
  • 具体 GNN 里面怎么融入这个分数呢?作者除了融入分数,还融入了实体类型和关系类型的 embedding:
  • 一些观察:
    • 对于实体类型和关系类型,这里是用一层 MLP 给 one-hot 编码,起到一个降维的作用
    • 在信息聚合的时候并没有引入重要性的分值,这个重要性分值只是在 GAT 计算 weight 的时候起了一些作用
    • 不过我还是不太能理解,这种复杂的信息聚合交互方式,都是怎么设计出来的啊?

发表评论

您的电子邮箱地址不会被公开。