跳至内容
- 来源：ACL 2021
- 机构：深圳大学
- 任务：Joint RE
- 动机：joint RE 里面 ① 关系种类太多，可以预筛选一波 ② 复杂度太高 ③ 基于 span 抽 entity 的方法
- 方法：
- 三部曲：句子的多标签关系分类、头尾实体抽取、头尾实体对齐
- 多标签分类：BERT + 池化 + sigmoid，BCE 做 loss，得到句子的表示 $h$
- 头尾实体抽取：token 表示 + rel 表示，linear + softmax 得到这个词在这个关系下属于头/尾实体的 BIO 标签的 logits
- 对齐：枚举所有的 pair，拼接 + linear 计算 pair 的分数，超过阈值就判为成功的三元组。由于上一步抽取实体已经抽出的是“带关系的实体”，因此这一步组合的时候就能筛掉好多（只有属于同一个关系的头尾实体才能组合），也不用再做关系分类了，非常妙呀
- 训练：三个 loss 一起，multi-task learning
- exposure bias：
- 12 两步之间，其实只是用了 1 得到的句子的表示在 2 中做增强，并没有预测出关系，然后在这些关系中限制，因此感觉是没有 exposure bias 的；而这对我是一个问题！
- 23 两步之间，3 是基于 2 的结果继续组合的，因此会有 exposure bias。这里是可以继续优化的，比如在训练 3 的时候，不用 gold 头尾实体组合的所有样本作为备选，而在引入一些其它错误的实体作为噪声，也就是加点负样本，扩大训练集？感觉是有必要的。