Breadth First Reasoning Graph for Multi-hop Question Answering

2021-06-09
  • 来源：NAACL 2021
  • 机构：中山大学
  • 任务：多跳问答
  • 动机：GNN 信息传播太乱了，而且会有多余的两类传播信息：For a GNN where nodes represent sentences, the following message passing is unnecessary and may suppress the disturbance from useless nodes: (1) from the latter node to the former node, (2) a node haven’t received the message from question but it updates other nodes. 本文要让信息传播 the message only starts from the question and then passes to the latter sentence nodes hop by hop，很符合直觉的想法。
  • 方法：整体还是 encoder – graph reasoning – scoring 的步骤，score 是给段落、句子、抽取答案的起始位置分别打分，multi-task learning。建图的时候使用句子节点，连边依靠“句子中有共同实体”和“句子属于同一段”。中间的 BFR graph 是 motivation，感觉就是特殊的 BFS，找到一 hop 之后，就用这一 hop 的集合里找邻居来更新节点。详细可见 algorithm 1
  • 实验
    • 总体上：ans 还可以，另外两个不太行（“Ans”, “Sup” and “Joint” denote answer span prediction, supporting sentence prediction and joint prediction）
    • BFR-Graph 的作用：将 BFR 换成 GNN，分别换第一层、前两层等等，发现换少的，不太影响，多了才影响，作者说是多了才会有 over-smoothing

发表评论