Fuzhao Xue, et al., “An Embarrassingly Simple Model for Dialogue Relation Extraction”, arXiv 2020
- 姓名：SimpleRE
- 机构：南洋理工
- 任务：DialogRE
- 流派：-
- 动机：多个 entity pair 之间可能会有联系
- 方法：把一个 dialog 中所有的 entity pair 拿过来，”[CLS] 句子 [SEP] 头实体1 [CLS] 尾实体1 [SEP] … 头实体n [CLS] 尾实体n [SEP]” 这样输入 BERT，得到 n+1 个 [CLS] 的表示 $h_0,…h_n$，对于 entity pair i，拼接 $h_0,h_i$ softmax 分类。这里还引入了 Relation Refinement Gate，就是如果 logit 不到某一个阈值，就要用 $h_i$ 更新一下 $h_0$，重新拼接（$h_0$ 和关系分类没啥关系，所以在最后的分类时相当于减少 $h_0$ 的作用）
- 性能：SOTA @ DialogRE
- 短评：还是，完全没有考虑 dialog 的特点，只是做关系分类
- 思考：
- 看了 danqi 那篇，还以为全拼在后面只是为了加速，结果 entity pair 之间还可能产生关系！所以 danqi 那篇文章，后面 marker 之间也是要有 attention 的！
- 对于 TACRED，这篇文章就相当于把 baseline 输入的两个 entity 之间的 [SEP] 替换成 [CLS]，结果有一个点的性能增长！这也太神奇了！我原来以为 special token，尤其是 [SEP] [CLS]，都是 anchor，看来 special token 都还是有意义的？
- 感觉可以对这些拼接的方法整理一个实验，对比一下：本文的、本文 [CLS] 换成 [SEP] 的、danqi 的、marker 换成 entity type 的、直接句子里面的实体换成 marker 的、直接句子里的实体换成与 entity type 相关的 marker 的