论文笔记 – Multi-view Inference for Relation Extraction with Uncertain Knowledge

Bo Li, et al., “Multi-view Inference for Relation Extraction with Uncertain Knowledge”, AAAI 2021

1 简介

• 姓名：MIUK
• 机构：北大，李博
• 任务：文档级关系抽取
• 流派：引入外部知识，纯粹基于 BERT
• 动机：要引入 uncertain knowledge graph（就是边上都有个概率）的知识，帮助关系抽取
• 方法：使用了 KG 中的 concept 和 entity description 这两种外部知识
  1. 得到 mention embedding 之后，以 entity description 为 key，做 mention 的 attn aggregation，得到 local entity representation；bilinear 得到 entity pair 的 local interactive vector
  2. 对于一个 entity，在 KG 里找 topk 个对应的 concept，加权求和（权重是边上概率过 softmax 得到的），得到 entity 对应的 concept representation
  3. 将 entity 的 concept representation 和 description vector 拼一起，bilinear 得到 entity pair 的 global interactive vector
  4. entity pair 的 local interactive vector 和 global interactive vector 加权求和，得到最终 entity pair 的表示
  5. mixed attn：分别以 entity 的 local interactive vector、entity 的 global interactive vector 作为 query，对 sentence 表示做 attn，这两个 attention score 再加上一个“entity 出现在 sentence 中”的分数，作为最终的 attn score，来 attn aggregation 得到 document 表示
  6. document 表示和 entity pair 表示拼一起, 多标签分类
• 性能：超过了 LSR，但没超过 GAIN
• 优点：没有用图，只是用了一些 attn
• 局限：引入了外部知识
• 短评：又是一篇“让信息充分交互”的文章，这种文章我就不知道是怎么想出来的，过程也太麻烦了

2 实验

1. DocRED 上和 LSR 差不多，ignf1 big-margin，作者说是因为 MIUK 和 LSR 都用了外部资源（LSR 标出句法树的最短路，也算外部资源？）
2. sentence RE 上 big-margin sota
3. ablation：都有用

3 思考

1. 本文的 global 和 local，含义与 GLRE 这篇不一样：MIUK 的 global，是指这个信息是跨 document 的，或者说来自外部知识库的，local 指和 document 的 context 相关的；GLRE 的 global 是指一个 document 的，local 是让每个 entity pair 都有一个和上下文相关的表示
2. 他引入 concept 这一个层次的信息，和我一开始想的不一样：一开始我还以为 concept 就相当于是 entity type，用 concept 信息就是相当于学出来一套可解释性很强的规则，比如一个 relation 对应的头尾实体分别都有可能是哪些 entity type 这样。（感觉这部分信息本文的 BERT anchor 是可以学到的？）本文的 concept 似乎只是拼到 entity 后面，加强一下罢了。
3. 本文还用了一个小 trick，忘记说了。他在用 BERT 的时候，用 anchor 把 mention 包围了起来：  anchor 对应 doc 里面不同的 entity。文中说这样可以让模型更关注 entity。和 danqi 那篇感觉差不多。另外，这样是不是得重新预训练？预训练的数据哪里来？
4. 他在 3.2 的 information aggregation 里面的 g，不知道是哪里来的