跳至内容
- 来源:ACL 21
- 机构:北航
- 任务:few-shot re
- 动机:引入 concept 作为辅助信息。concept 就相当于 entity 另一维度的某种类别,比如 person, billionaire, entrepreneur 等。entity type 在 re 很有用,那么 concept 就更有用。而且这个 concept 也是能跨 domain 的(可能是因为不多?),所以也适合 FSL 的场景。别人用那种 description,很长,不方便用,concept就没有这种烦恼。
- 方法:
- sentence embedding 和 concept embedding 不在一个空间里,且一个词对应的 concept 可能有很多:先做 reshape 搞到同一个空间,再求(句子,concept)相似度取超过阈值的作为 concept。(这里没有写的很详细,我理解是一个词可以从 Concept Graph 中查出对应的 concept,再用这个方法来找 context 相关的 concept)
- 找出来了 concept,concept 和 word embedding 也不在同一个空间:如下图所示,做 attention aggregation,得到新的 word embedding
- 最后就是基于 BERT Pair