Xiaoya Li, et al., “Entity-Relation Extraction as Multi-turn Question Answering”, ACL 2019
1 简介
这篇文章解决的是 document 关系抽取中 hierarchical tag dependency 的问题。于是使用多轮 QA 的方式，先抽 head entity，然后对每一个 head 抽 relation 和 tail（由于关系是 hierarchical，所以要按照这个 hierarchical 顺序来多轮 QA）。他的动机很有实际意义，他还发了一个中文数据集，里面是人的简历，which requires multi-step reasoning to construct entity dependencies。非常有意思的工作（怎么回事？这不是老板的经典评论吗）。
2 方法
先说一下 hierarchical tag dependency 问题是什么。在一篇文章中会有多对实体的多对关系，这些关系之间，也是可能有依赖的。比如文档里是很多诸如“A 创造了 B 公司，在 C 时间担任 D 职位”的句子，这样一来，时间 C 的抽取就依赖于职位 D，因为一个人可以在不同时间担任不同职位；同理，职位 D 的抽取又依赖于公司 B，因为一个人可以在不同公司有各自的职位。
因此实际上，为了最好的表述这些实体之间的关系，应该抽成一张 table：
其实这里我还是比较疑惑，原先的方法是抽一堆三元组，其实也是能解决这个问题的：三元组作为一个个边，构成一棵树，其实是要比这个表格更加形象、准确的。不过，在这种情况下，抽三元组很难（特别是当（1）实体相距很远；（2）一个实体出现在多个三元组中；（3）一个句子包含多个同类关系；（4）关系跨度相交的时候）。而按照 hierarchical 的方式去解决问题，的确能将这些依赖用上，从而大幅度提升性能。不错。
再说一下 QA 的基本框架：就是把问题和句子拼起来，中间插个 [SEP]，送入 BERT，做 BMEO 序列标注任务，得到多个答案（或者没有答案，输出 None）。
算法流程如下：
第一轮，抽取头实体。对于 ACE 和 CoNLL，问题（似乎）就直接是 entity type，对于自创的 RESUME 数据集，问题是 “who is mentioned in the text”（不是中文数据集吗？这是用英文问？没看懂）。对每个 entity type 提问，最后得到一堆 head。
第 2-n 轮，抽取关系和尾实体。首先它定义了一个 ChainOfRelation，就是上面表格里的一行，这里的多轮 QA，就是上一个问题的答案作为下一轮问题中的信息，这样多轮来回答。比如上面的表格，这里就需要三轮 QA。这里问题是通过模板槽填充生成的自然语言的句子。下图就是 RESUME 数据集的问题模板。
对于 ACE 和 CoNLL，问题也是，每种关系都有一系列的模板。不过由于这两个数据集没什么 hierarchical 的关系，因此在这第二部分，就只需要一轮 QA。
虽然是多轮 QA，但是训练时，还是两部分 loss 直接相加，作为总的优化目标。
最后作者还加入了强化学习，但是我完全看不懂【#TODO345】
3 实验
- 在所有数据集都是 sota
- 自然语言的问题要比直接用关键词做问题好：自然语言的问题包含更多语义信息
- 这两部训练，互相都是有帮助的！！这表明联合抽取的优越性
4 思考
以后这个系列的都要读读
5 TODO
- MRC 的好几篇文章
- multi-turn QA 的好几篇文章
- 强化学习的 reward
- 强化学习的 replay strategy
- 强化学习的 curriculum learning
- dependency parsing model Biaffine