论文笔记 – Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism

[mathjax]

Zeng, Xiangrong, et al. “Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism.” ACL 2018

1 简介

这篇文章是为了提取句子中的“多重关系”。作者使用复制机制 + seq2seq 模型,用同一模型提取实体和关系,且能提取上面说的“多重关系”。作者还提出了 OneDecoder Model 与 MultiDecoder Model 两种解码模型,并取得 SOTA。

作者把句子中的三元组分成三类(Normal, EntityPairOverlap, SingleEntityOverlap),Normal 是三元组的每一项与其它三元组均无重叠,EntityPairOverlap 是三元组之间的实体对有重叠(我更倾向于说“复用”),SingleEntityOverlap 是三元组里只有一个实体有重叠。之前的抽取实体和关系的工作(详见这篇文章)只关注 Normal 的情况,这篇文章着手解决复用的问题。

2 相关工作

抽取实体和关系详见这篇文章

3 算法

3.1 单解码器模型

3.1.1 总览

单解码器模型结构如图所示,可分为编码、解码两个大部分

模型是先进行下面的编码部分,然后进行右面的解码部分。

编码部分是普普通通的 Bi-LSTM,这里不再多说。

解码部分是分步循环进行的。每次循环,都是先得到 decoder 的输出 $o_t^D$(右上角 D 就是 decoder,E 就是 encoder)。然后通过 $o_t^D$ ,计算得到关系或者实体的预测结果。为什么是或者呢?当 $t%3=1$ 时,我们预测关系,得到左边中间的粉色虚线框框;当 $t%3=2$ 时,从原来的句子复制第一个实体;当 $t%3=0$ 时,从原来的句子复制第二个实体,得到左边下面的橘色虚线框框;这三步的结果攒起来,就得到了三元组,即左上的绿色虚线框框。

不断循环下去,就得到很多三元组,这些三元组所包含的实体是可以复用的,因此复用的问题就解决了。那什么时候结束循环呢?作者定义了一个 NA 三元组,作为结束的标志。

3.1.2 循环解码

上面抽象地阐述了单解码器模型解码的过程,下面具体进行阐述。

首先,解码器 $t$ 时刻的输出 $o_t^D$ 和隐层状态 $h_t^D$ 的计算是由上一时刻的隐层状态 $h_{t-1}^D$ 和当前时刻的输入 $u_t$ 决定的:$$o^D_t,h_t^D= g(u_t,h_{t-1}^D)$$

其中 $g(·)$ 是解码的函数,定义 $h_0^D = s$ 为原始的句子。当前时刻的输入 $u_t$ 是由 attention 向量 $c_t$ 和上个时刻“复制的实体或者关系”的 embedding $v_t$ 决定的(明明应该是 $v_{t-1}$,这里就不更改论文原文中的错误了):$$u_t = [v_t;c_t]\cdot W^u$$

那 attention 向量,又是通过下列公式计算的:

$$ \begin{aligned} c_t &= \sum_{i=1}^n \alpha_i \times o_i^E \\ \alpha &= softmax(\beta) \\ \beta_i &= selu([h_{t-1}^D;o_i^E]\cdot W^c) \end{aligned} $$

其中 $h$ 是隐层表示向量,$o$ 是输出,$^E$ 是编码器的,$^D$ 是解码器的,$W^c$ 是权重的矩阵,$\alpha,\beta$ 都是中间结果。

于是,解码的过程就是 $h_{t-1}^D\rightarrow c_t\rightarrow u_t\rightarrow h_{t}^D$ 这样循环的。不过,上文说过,我们是三步得到一个三元组,三步一个小循环。这三步之中,唯一不同的就是 $v_t$,下面分别介绍这三种的预测方法。

3.1.3 预测关系

每个关系的 confidence vector $q^r = [q_1^r,…,q_m^r]$ 为:$$q^r = selu(o^D_cdot W^r + b^r)$$

为了能停止,引入 NA-relation:$$q^{NA} = selu(o^d_t\cdot W^{NA} + b^{NA})$$

上述两个拼到一起,过层 softmax,就得到了预测的关系:$$p^r = softmax([q^r;q^{NA}])$$

3.1.4 预测第一个实体

句子里面每个词的 confidence vector $q^e = [q^e_1,…,q^e_n]$ 为:$$q_i^e = selu([o_t^D;o_t^E]\cdot w^e)$$

其中的 $o_t^E$ 我理解就是“从原来的句子里抽取”的感觉。

再过层 softmax,得预测结果:$$p^e = softmax([q_e,q^{NA}])$$

3.1.5 预测第二个实体

和预测第一个实体差不多,只是不能和前者一样。于是引入一个 mask $M$:$$M_i = 1 \text{ if } i\ne k \text{ else } 0$$

在预测的时候就加入这个 mask:$$p^e = softmax([M\otimes q^e;q^{NA}])$$

其中 $\otimes$ 是 Hadamard product。

3.2 多解码器模型

单解码器模型是 a,多解码器模型是 b。区别在于,多解码器不把三个小步骤一视同仁的对待啦!对于预测关系($t%3=1$),输入有变:$$o^{D_i}_t,h_t^{D_i}= g^{D_i}(u_t,\hat{h}_{t-1}^{D_i})$$ $$\hat{h}_{t-1}^{D_i} = \frac{1}{2}(s+h_{t-1}^{D_{i-1}})$$

3.3 训练

损失函数采用负对数损失:$$L = \dfrac{1}{B\times T}\sum_{i=1}^B\sum_{t=1}^T -log(p(y_i^t | y_i^{},s_i, \theta))$$

其中 $B$ 是句子的个数,$T$ 是解码器最大的步数。

4 实验结果

设置 $T=15$,即最多预测五个三元组。

  1. 比不考虑复用的模型总体好,在复用问题上更是大幅领先
  2. 在 Normal 问题上,不如不考虑复用的模型,这说明我们模型判断三元组对数的能力还有待提升(要能判断出只有一对,那就不会落后了)
  3. 一句话的复用越多,效果越差
  4. 多解码器模型好于单解码器模型。这个结论作者是通过文本生成的任务判断的,我没看懂。

5 总结

这篇文章我觉得很有意思,首先作者很懂 seq2seq,很懂 attention,而且能找到关键的 $v_t$,实在是非常厉害。我离他差的好远,我现在需要先对基础模型,有和他一样深的理解!

Leave a Comment

电子邮件地址不会被公开。