跳至内容
- 来源：arXiv:2104.06378v1 [cs.CL] 13 Apr 2021
- 机构：Stanford
- 任务：multi hop KBQA
- 动机：
- 结合 PLM 和 KG：PLM 有丰富先验知识，但是不擅长 structured reasoning；KG 适合 structured reasoning，但是覆盖不够、噪音大
- 别人直接从问题和答案的 entity 在 KG 里抽子图：太乱，很多无关节点
- 方法：引入问题与图中节点的相似度，作为图中节点的重要程度信息
这张图里面说把 QA context 当做一个节点，实际上并没有在 GNN 传播时用上，只是给其它节点打分罢了
打分就是直接拼接输入 RoBERTa - 具体 GNN 里面怎么融入这个分数呢？作者除了融入分数，还融入了实体类型和关系类型的 embedding：
- 一些观察：
- 对于实体类型和关系类型，这里是用一层 MLP 给 one-hot 编码，起到一个降维的作用
- 在信息聚合的时候并没有引入重要性的分值，这个重要性分值只是在 GAT 计算 weight 的时候起了一些作用
- 不过我还是不太能理解，这种复杂的信息聚合交互方式，都是怎么设计出来的啊？