论文笔记 – Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training

Yingyao Wang, et.al, “Learning to Decouple Relations: Few-Shot Relation Classification with Entity-Guided Attention and Confusion-Aware Training”, COLING 2020

1 简介

这是一篇哈工大的工作。

首先说说他的动机。作者说,自然语言中有时会一句话里描述多个实体对的不同关系。在关系抽取中,有时一对关系总是在句子里共现,就导致模型难以区分。作者称这个问题为 relation confusion problem。

比如这张图中的三个关系,就互为 confusing relation。其实这里我不太能清晰地理解,为什么字面上出现了多个关系,就会使模型 confuse 呢?可能是在小样本的设定下,训练时学到的是更 general 的知识,测试时 a daughter of 或者 the uncle of 相对于其他常见词都是非常重要的特征(甚至 the XXX of 已经被学成了 attention 的关键?),于是共现导致迷惑。

作者为了解决这个问题,提出了 Entity-Guided Attention (EGA) mechanism 和 Confusion-Aware Training (CAT) method。EGA 就是把每个词的实体特征和句法特征用 transformer 编码、对每个词的编码逻辑回归,得到每个词的 gate,用来强化 self-attention。

CAT 就是每个 episode 之后,找到 query 预测结果里面 confusing relation pair 的正确和错误的例子,通过引入新的 loss,强行让 query 的 embedding 离正确关系的 prototype 近一点,离错误的远一点(大致是这个意思,但是这里说的不太准确,后面解释)。

2 方法

EGA

这一部分,作者的想法是 words that keep high relevance to the given entities are more important in expressing the true relation,于是就用实体特征和句法特征定义这个“words that keep high relevance to the given entities”。

先讲一下实体特征和句法特征的定义:实体特征就是每个词的“‘待抽关系的两个实体 和 这个词的相对位置’的 embedding”,可能就是数字的 embedding?具体他没说,我也还没看;句法特征就是在句法树上,只留下和实体直接相连的边,然后对于每个词,看它有没有和那两个实体相连的边,有,句法特征就是边上关系的 embedding;无,就是 others 的 embedding。

把这两种特征拼到一起,得到 $e_i^p = [e_i^{pos}, e_i^{syn}]$,然后接 transformer 和 sigmoid 做回归,每个词就得到一个数 $g_i$,作者称之为 Entity-Guided Gate。显然,$g_i$ 区分了词 i 对于关系抽取任务的重要程度。后面在 attention 的时候,就在 attention score 上乘 $g_i$,也就是让 $g_i$ 作为一个加强或减弱关注度的权重,让最后的权重更偏向前面两条规则选的更重要的词。这样最终池化得到句子的 embedding,里面关键词的分量也就更重。

CAT

episode 前半部分得到每个 prototype 的表示 $c_j$ 以及 query 的表示 $s^q$,按照正常套路就直接计算 $s^q$ 与每个prototype $c_j$ 的距离,取最近的进行分类:$$\delta = (\|s^q – c_1\|^2, …, \|s^q – c_N\|^2)$$ $$\hat{r} = \min_j(\{\delta_i, i = 1,…,N\})$$

这里的 $\delta$ 是距离的分布。loss 也就表达这个 $\min$ 的过程:$$\mathcal{L} = \text{CrossEntropy}(\text{OneHot}(r), \text{Softmax}(\delta))$$

以上是度量学习的经典方法。为了区分 confusion relations,作者又做了如下改进:

首先,将 $\delta$ 变换到一个 confusion-aware 的空间:$$\bar{\delta} = \tanh(W^c\delta + b^c)$$

在这里,作者希望能让模型学到“什么是错的”,于是就在一个 episode 结束后,找到里面的错误分类样本,用错误的预测结果作为 confusion-aware 空间中的正确结果,对模型进行训练:$$\bar{\mathcal{L}} = \text{CrossEntropy}(\text{OneHot}(\bar{r}), \text{Softmax}(\bar{\delta}))$$

这个乍一看觉得有点奇怪,怎么能学错误标签呢?但是由于是经过了 $W^c$,$b^c$ 变换,因此这种“让距离分布在 confusion-aware 空间中拟合错误标签信息”的做法,感觉也是“让距离分布在原空间中不要拟合错误标签信息”,这里的“不要”就在参数 $W^c$,$b^c$ 中学到了。

为了加强这个“不要”的信息,作者还引入了这两个距离分布的相对熵,让这俩尽量远:$$\mathcal{L}_{kl} = -\text{KL}(\text{Softmax}(\delta), \text{Softmax}(\bar{\delta}))$$

最后的 loss 就是三者相加。

这里我有一个想法:为什么要计算距离分布之间的关系,为什么不显式地、直接让 query 的 embedding 离错误的 confusing relation 的 prototype 更远呢?这样也不需要什么空间变换,直接选取正确的 prototype $c_i$ 和 confused 的 prototype $c_j$,把 loss 改成$$\mathcal{L} = \text{dist}(s^q,c_i) – \lambda\text{dist}(s^q,c_j)$$

其中 $\text{dist}$ 就是求距离,直接欧氏距离也行,其他的也可以试试。

甚至可以更粗暴一点:$$\mathcal{L} = \text{dist}(s^q,c_i) – \lambda\sum_{l≠i}\text{dist}(s^q,c_l)$$

不过感觉这样可能就没啥用了(?)。

3 实验及结果

  1. 5-shot sota,1-shot 还不太行,作者觉得是 prototype 还没来得及学好
  2. EGA 很有用。不用 EGA 的时候,“the model can not identify which words in a given sentence are entities”,可能是打印的 attention 矩阵看出来的?
  3. 不用 EGA 的时候,下降了 5-14 个点,说明实体信息很有用!

既然 gate 这么有用,下面的实验就专门研究 gate:

  1. 改变 gate 的方式:改成就直接看,如果这个词是某些 entity 就是关键词(?没太看懂);降了一个点
  2. 改变 gate 的时机:只在最后一层 attention 加 gate,降了一个点

后面还有具体的样例分析,分别说明了 ① attention 更关注重点词了、② 分类时两个空间的 query embedding 和 正确或错误的 prototype 都更近了、③ confusing relation 的混淆矩阵也更接近对角阵了

4 相关

Few Shot RE 和 句法关系。

5 总结

这个 gate 还是很有意思的,以前的想法都是在输入加强一些特征,这个想法是直接用特征搞一个 gate,在 attention 再去加强。

发表评论

您的电子邮箱地址不会被公开。