跳至内容
- 来源：IJCAI 2021
- 机构：cas 软件所
- 任务：DialogRE
- 动机：还是加一些对话特有的信息。先总结了 dialogRE 的难点：
- Utterance Discrepancy：不同人说的“你我他”都是不一样的，所以得分开
- Topic Structure Discrepancy：DocRE 里面 evidence 都比较集中，但 DialogRE 里是分散开的
- Relation Discrepancy：关系预测结果之间是不独立的，比如父子关系就得双向都有
- 方法：
- mask strategy：不同人说的话、不同句子里， context 表示不同
- encoder 之后，整个 doc 做 multi-head self attention，如式子 12:
- 其中的 M 就有 utterence 和 speaker 相关的 mask，speaker 相关的是让同一个 speaker 位置的为0，其他的为 负无穷；utterence 相关的是对角矩阵，即前后 x 句不被 mask，太远的 mask。于是就得到了 utterence、speaker-specific 的表示
- fusion gate 就是用各种方式结合，得到 utterence、speaker-specific 的总的表示
- Mutual Attention 就是在 mention 之间 attention（因为 entity 之间的关系不是所有 mention 都能有的），即 entity i 对 entity j 所有 mention attention aggregation，反之同理；最后再拼接 + linear 得到 entity 表示
- Relational Reasoning Regularization 引入一阶逻辑表达式，避免关系的矛盾（也是经典 motivation 了，relation of relation）方法是在预测得到的 KB 上做 2-hop reasoning，避免 a+b 和原先预测的 c 矛盾，具体地，
- 每个三元组 (ei, r, ej) 被表示成 r(ei, ej)。于是 rule（就是“一跳”） 有三种：
- 每种一跳的分数可以用下列式子计算：
- 因此，两跳的 loss 就设计成下面两部分相加，以表示图中路径“能两跳得到”和“不能”。如果能两条得到，就要符合 rule？这里我是没有看明白，rule 到底是啥啊？
- 实验：
- SOTA @ DialogRE MPDD，有趣的是，DocRE 上的方法在 DialogRE 轻松破了之前的 sota…
- ablation：三个都有用
- 在 Relations constrained in R3 上非常有效，所以 constraint 是加在预先定义的特定的 relation 上的吗？