Discriminative Reasoning for Document-level Relation Extraction

2021-06-04
  • 来源：ACL 2021 findings
  • 机构：哈工大 赵铁军
  • 任务：DocRE
  • 动机：“显示”建模不同的推理路径（这里我觉得，并不是说把不同路径都表示出来就是显示了，得标注+监督，退一步，也至少要得到最终路径的表达，这才叫显示，本文最后又是融合了不同路径（max 也算融合吧），我感觉不是很 explicit。但是这确实是非常好的思路，实验也非常好，感觉是有效的。）
  • 方法：将 Reasoning 分成了三种路径：intra（pattern + common sense）, logical, coreference。这三种路径的表达都是通过拼接 entity 和 entity-specific-document 的表示得到的，只是顺序不同，我不是很理解这个设计的方式，这和 path 有什么关系？拼接就是路径了吗？另外，拼接也能叫 reasoning 吗？


  • 最后取路径的 max 我有点担心，因为三种路径 $\alpha \beta \gamma$ 它的维度都是不一样的，那么最后 MLP 得到 logits 的 scale 会不会有很大的差别？直接 max 操作能得到想要的结果吗？或者说，还是这种不同的 scale 就正好造就了后面不同 path 比例不同？我感觉这里值得进一步探究实验，比如加一个正则让三者有相同的均值，再看看不同 path 的分布还能不能就像数据集的分布一样。
  • 这文章有很多我完全不认同的点：
    • coref reasoning path 的设计，这和 coref 有啥关系？ mssm 这样跳的就都是 coref 了？离谱
    • 2.1 最后一段说，path 里不设计 entity 了，这些原因感觉都不是很 solid，这种感觉的原因能出现在文章里吗？出现的不得实验验证吗？
    • 2.3 一开始说，一个 entity pair 就 usually 包含多种推理路径，我从自己标注的经历来看，好像也并不是这样…
    • 3.2 第一段末尾，说别人建图做推理，就破坏了文本原来的结构。于是作者用 mention 的第一个 token 作为 key，对整篇文章做 attention，得到 mention-based document 表示。这保留了文本的什么结构呢？
    • 4.6 说在所有样例里，our defined three reasoning skills can completely cover all entity pairs regardless of whether these entity pairs have relationships or not，这不是显然的吗？就从三个里面选出来的，加起来肯定是一啊？这一定是我理解错了。
  • 一些想法：
    • figure 3a 是最让我惊讶的一个实验，我就在想，这种分布的一致性能说明路径选择的正确吗？似乎不太可能。那如果不标注，可能也就没法验证这一点了。另外一个想法就是，是不是可以加入一个约束呢？即在 max 挑选路径的时候，要让挑出路径的分布和真实路径的分布尽可能一致。不过这样就算用了额外标注了。
    • 回来一定看看他手动标的，不知道只是标了路径分类，还是标出了具体的路径

发表评论