跳至内容
- 来源:ACL 2021
- 机构:深圳大学
- 任务:Joint RE
- 动机:joint RE 里面 ① 关系种类太多,可以预筛选一波 ② 复杂度太高 ③ 基于 span 抽 entity 的方法
- 方法:
- 三部曲:句子的多标签关系分类、头尾实体抽取、头尾实体对齐
- 多标签分类:BERT + 池化 + sigmoid,BCE 做 loss,得到句子的表示 $h$
- 头尾实体抽取:token 表示 + rel 表示,linear + softmax 得到这个词在这个关系下属于头/尾实体的 BIO 标签的 logits
- 对齐:枚举所有的 pair,拼接 + linear 计算 pair 的分数,超过阈值就判为成功的三元组。由于上一步抽取实体已经抽出的是“带关系的实体”,因此这一步组合的时候就能筛掉好多(只有属于同一个关系的头尾实体才能组合),也不用再做关系分类了,非常妙呀
- 训练:三个 loss 一起,multi-task learning
- exposure bias:
- 12 两步之间,其实只是用了 1 得到的句子的表示在 2 中做增强,并没有预测出关系,然后在这些关系中限制,因此感觉是没有 exposure bias 的;而这对我是一个问题!
- 23 两步之间,3 是基于 2 的结果继续组合的,因此会有 exposure bias。这里是可以继续优化的,比如在训练 3 的时候,不用 gold 头尾实体组合的所有样本作为备选,而在引入一些其它错误的实体作为噪声,也就是加点负样本,扩大训练集?感觉是有必要的。