论文笔记 – An Embarrassingly Simple Model for Dialogue Relation Extraction

Fuzhao Xue, et al., “An Embarrassingly Simple Model for Dialogue Relation Extraction”, arXiv 2020

  • 姓名:SimpleRE
  • 机构:南洋理工
  • 任务:DialogRE
  • 流派:-
  • 动机:多个 entity pair 之间可能会有联系
  • 方法:把一个 dialog 中所有的 entity pair 拿过来,”[CLS] 句子 [SEP] 头实体1 [CLS] 尾实体1 [SEP] … 头实体n [CLS] 尾实体n [SEP]” 这样输入 BERT,得到 n+1 个 [CLS] 的表示 $h_0,…h_n$,对于 entity pair i,拼接 $h_0,h_i$ softmax 分类。这里还引入了 Relation Refinement Gate,就是如果 logit 不到某一个阈值,就要用 $h_i$ 更新一下 $h_0$,重新拼接($h_0$ 和关系分类没啥关系,所以在最后的分类时相当于减少 $h_0$ 的作用)
  • 性能:SOTA @ DialogRE
  • 短评:还是,完全没有考虑 dialog 的特点,只是做关系分类
  • 思考:
    • 看了 danqi 那篇,还以为全拼在后面只是为了加速,结果 entity pair 之间还可能产生关系!所以 danqi 那篇文章,后面 marker 之间也是要有 attention 的!
    • 对于 TACRED,这篇文章就相当于把 baseline 输入的两个 entity 之间的 [SEP] 替换成 [CLS],结果有一个点的性能增长!这也太神奇了!我原来以为 special token,尤其是 [SEP] [CLS],都是 anchor,看来 special token 都还是有意义的?
    • 感觉可以对这些拼接的方法整理一个实验,对比一下:本文的、本文 [CLS] 换成 [SEP] 的、danqi 的、marker 换成 entity type 的、直接句子里面的实体换成 marker 的、直接句子里的实体换成与 entity type 相关的 marker 的

发表评论

邮箱地址不会被公开。