跳至内容
- 来源:arXiv:2104.06378v1 [cs.CL] 13 Apr 2021
- 机构:Stanford
- 任务:multi hop KBQA
- 动机:
- 结合 PLM 和 KG:PLM 有丰富先验知识,但是不擅长 structured reasoning;KG 适合 structured reasoning,但是覆盖不够、噪音大
- 别人直接从问题和答案的 entity 在 KG 里抽子图:太乱,很多无关节点
- 方法:引入问题与图中节点的相似度,作为图中节点的重要程度信息
这张图里面说把 QA context 当做一个节点,实际上并没有在 GNN 传播时用上,只是给其它节点打分罢了
打分就是直接拼接输入 RoBERTa - 具体 GNN 里面怎么融入这个分数呢?作者除了融入分数,还融入了实体类型和关系类型的 embedding:

- 一些观察:
- 对于实体类型和关系类型,这里是用一层 MLP 给 one-hot 编码,起到一个降维的作用
- 在信息聚合的时候并没有引入重要性的分值,这个重要性分值只是在 GAT 计算 weight 的时候起了一些作用
- 不过我还是不太能理解,这种复杂的信息聚合交互方式,都是怎么设计出来的啊?