跳至内容
- 来源:IJCAI 2021
- 机构:cas 软件所
- 任务:DialogRE
- 动机:还是加一些对话特有的信息。先总结了 dialogRE 的难点:
- Utterance Discrepancy:不同人说的“你我他”都是不一样的,所以得分开
- Topic Structure Discrepancy:DocRE 里面 evidence 都比较集中,但 DialogRE 里是分散开的
- Relation Discrepancy:关系预测结果之间是不独立的,比如父子关系就得双向都有
- 方法:

- mask strategy:不同人说的话、不同句子里, context 表示不同
- encoder 之后,整个 doc 做 multi-head self attention,如式子 12:

- 其中的 M 就有 utterence 和 speaker 相关的 mask,speaker 相关的是让同一个 speaker 位置的为0,其他的为 负无穷;utterence 相关的是对角矩阵,即前后 x 句不被 mask,太远的 mask。于是就得到了 utterence、speaker-specific 的表示
- fusion gate 就是用各种方式结合,得到 utterence、speaker-specific 的总的表示

- Mutual Attention 就是在 mention 之间 attention(因为 entity 之间的关系不是所有 mention 都能有的),即 entity i 对 entity j 所有 mention attention aggregation,反之同理;最后再拼接 + linear 得到 entity 表示
- Relational Reasoning Regularization 引入一阶逻辑表达式,避免关系的矛盾(也是经典 motivation 了,relation of relation)方法是在预测得到的 KB 上做 2-hop reasoning,避免 a+b 和原先预测的 c 矛盾,具体地,
- 每个三元组 (ei, r, ej) 被表示成 r(ei, ej)。于是 rule(就是“一跳”) 有三种:

- 每种一跳的分数可以用下列式子计算:

- 因此,两跳的 loss 就设计成下面两部分相加,以表示图中路径“能两跳得到”和“不能”。如果能两条得到,就要符合 rule?这里我是没有看明白,rule 到底是啥啊?

- 实验:
- SOTA @ DialogRE MPDD,有趣的是,DocRE 上的方法在 DialogRE 轻松破了之前的 sota…
- ablation:三个都有用
- 在 Relations constrained in R3 上非常有效,所以 constraint 是加在预先定义的特定的 relation 上的吗?