Discriminative Reasoning for Document-level Relation Extraction

  • 来源:ACL 2021 findings
  • 机构:哈工大 赵铁军
  • 任务:DocRE
  • 动机:“显示”建模不同的推理路径(这里我觉得,并不是说把不同路径都表示出来就是显示了,得标注+监督,退一步,也至少要得到最终路径的表达,这才叫显示,本文最后又是融合了不同路径(max 也算融合吧),我感觉不是很 explicit。但是这确实是非常好的思路,实验也非常好,感觉是有效的。)
  • 方法:将 Reasoning 分成了三种路径:intra(pattern + common sense), logical, coreference。这三种路径的表达都是通过拼接 entity 和 entity-specific-document 的表示得到的,只是顺序不同,我不是很理解这个设计的方式,这和 path 有什么关系?拼接就是路径了吗?另外,拼接也能叫 reasoning 吗?


  • 最后取路径的 max 我有点担心,因为三种路径 $\alpha \beta \gamma$ 它的维度都是不一样的,那么最后 MLP 得到 logits 的 scale 会不会有很大的差别?直接 max 操作能得到想要的结果吗?或者说,还是这种不同的 scale 就正好造就了后面不同 path 比例不同?我感觉这里值得进一步探究实验,比如加一个正则让三者有相同的均值,再看看不同 path 的分布还能不能就像数据集的分布一样。
  • 这文章有很多我完全不认同的点:
    • coref reasoning path 的设计,这和 coref 有啥关系? mssm 这样跳的就都是 coref 了?离谱
    • 2.1 最后一段说,path 里不设计 entity 了,这些原因感觉都不是很 solid,这种感觉的原因能出现在文章里吗?出现的不得实验验证吗?
    • 2.3 一开始说,一个 entity pair 就 usually 包含多种推理路径,我从自己标注的经历来看,好像也并不是这样…
    • 3.2 第一段末尾,说别人建图做推理,就破坏了文本原来的结构。于是作者用 mention 的第一个 token 作为 key,对整篇文章做 attention,得到 mention-based document 表示。这保留了文本的什么结构呢?
    • 4.6 说在所有样例里,our defined three reasoning skills can completely cover all entity pairs regardless of whether these entity pairs have relationships or not,这不是显然的吗?就从三个里面选出来的,加起来肯定是一啊?这一定是我理解错了。
  • 一些想法:
    • figure 3a 是最让我惊讶的一个实验,我就在想,这种分布的一致性能说明路径选择的正确吗?似乎不太可能。那如果不标注,可能也就没法验证这一点了。另外一个想法就是,是不是可以加入一个约束呢?即在 max 挑选路径的时候,要让挑出路径的分布和真实路径的分布尽可能一致。不过这样就算用了额外标注了。
    • 回来一定看看他手动标的,不知道只是标了路径分类,还是标出了具体的路径

发表评论