论文笔记 – Joint Event Extraction via Recurrent Neural Networks

Nguyen, Thien Huu, Kyunghyun Cho, and Ralph Grishman. “Joint Event Extraction via Recurrent Neural Networks.” ACL 2016

基础知识：RNN – LSTM – GRU – wdmad的文章 – 知乎

1 介绍

事件抽取（EE）分成 pipeline 和 joint 的方法，这篇文章是第一次用 DNN 的 joint 方法。整个算法分成两个部分，先用双向 RNN 做句子级的提取，然后对 trigger 和 argument 进行预测。在预测的过程里，还设计了不同的记忆矩阵 $G$，用来更新 event triggers 和 argument roles 的依存关系。（具体见 2 部分）

JRNN 的方法在 trigger 和 argument 的识别和分类上 F1 都是 SOTA，在整体性能上由于之前离散特征的 joint 方法，在一句话多件事的情况里，更是大 margin 的 SOTA。

2 相关工作

当时（2016 年），EE 的 SOTA 是有两类方法，一个是上一篇文章的 DMCNN，另一个是基于多层感知机的 joint 方法。前者的优点可以学到连续特征，后者是 joint，就是不用分成 trigger 和 argument 两步，所以 ① 可以避免误差积累，② 可以找出 event triggers 和 argument roles 的关系。

关于这个 ② 我详细说一下我的理解：这个意思就是 trigger 与 argument 之间可以互相优化。得到 trigger 的 event type 之后，能据此找到 argument 符合这个 type 的 最好的 role；得到 role 之后，又能据此更新 trigger 的更好的 event type。而 pipeline 的方法只能先 trigger event type 再 argument role，然后就没了。

另外，这篇文章还提出了 joint 方法的一个优点。还以这个句子举例：

In Baghdad, a cameraman died when an American tank fired on the Palestine hotel.

对于 die 这个 trigger，pipeline 的方法可以找到 cameraman 这个 argument；但是对于 fire 这个 trigger，就很难找到 cameraman 这个 trigger。这是因为 fire 和 cameraman 太远了，之前的 DMCNN 毕竟是 CNN，只能提取 localize 的特征。joint 的方法可以利用句子级的特征，找到 fire 的 cameraman。这个句子的特征实际上就是句法分析（dependency tree），比如通过句法分析可以知道，在一句话里，victim 的 argument 通常也就是 die 的 argument。在这篇文章的算法中，这个句子级的特征（或者说句法）就用 $G$ 表示。

这篇文章的方法同时拥有了上述的三个优点。DNN（本文题目是 RNN，实际是用的 GRU）可以得到连续特征，记忆矩阵 $G$ 可以找出 trigger 和 argument 之间双向的、句子级的关系。

3 方法

这篇文章的算法结构如图所示（这图画的不行，不用看）。算法分成两个部分，先是编码阶段，用双向 RNN 得到整句话每个 token 的特征表示；然后是预测阶段，用刚刚得到的表示同时预测 event trigger and argument role。

3.1 编码

这部分是用离散编码输入 RNN，得到连续的特征向量。是图中的下半部分。

3.1.1 句子编码

每个 token 的编码是三部分直接拼接而成的向量，这三部分分别是：

1. token 的 embedding。这篇文章用的是改版 Word2Vec，就是 Word2Vec 本来是用 CBOW 或者 Skip-Gram 模型，这里用的是 concatenation-based variant of CBOW (C-CBOW)。CBOW 是输入邻居输出 token，Skip-Gram 是输入 token 输出邻居，C-CBOW 是输入 token + 邻居，输出与 CBOW 相似。C-CBOW 在最后实验结果里好于 CBOW 和 Skip-Gram，第四部分再说。
2. entity type 的 embedding。查表得到的。
3. binary vector。这部分长度是这句话的 dependency tree 里面，两两单词之间可能的关系的数量，即每个位置代表一种关系。当 dependency tree 里面，存在和当前 token 相连且是这种关系的词语时，这个位置就是 1，否则就是 0.

这里没有像 DMCNN 一样，使用相对关系。这是因为 JRNN 是一起预测 trigger 和 argument 的，在预测的过程里相对位置是可能一直更新的，所以一开始的编码没法用这个相对位置。正是因为没用相对位置，这使得 JRNN 在 argument role 的分类上要比 DMCNN 差，这个也第四部分再说。

3.1.2 RNN

RNN 详见基础知识。这篇文章输入刚才编码得到的序列 $X=(x_1,x_2,…,x_n)$，正向 RNN 输出特征向量序列 $(\alpha_1,\alpha_2,…,\alpha_n)$，逆向 RNN 输出特征向量序列 $(\alpha_n’,\alpha_{n-1}’,…,\alpha_1′)$。最后的特征表示 $(h_1,h_2,…,h_n)$ 的每项 $h_i = [\alpha_i,\alpha_i’]$ 即为俩结果拼一起。为防止梯度消失，本文使用 GRU。

3.2 预测

这篇文章的最大亮点就是设计了几种记忆矩阵 $G$，来表示 token 之间的依赖关系（原文是 dependency，直译是依赖关系，实际就是句法结构）。对于第 i 个 epoch，有：

1. $G_i^{trg}\in R^{n_T}$ 是存 trigger 状态的向量，表示 trigger 之间的依赖关系，长度 $n_T$ 是 trigger 的种类数；
2. $G_i^{arg}\in R^{k\times{n_A}}$ 是存 argument 状态的向量，表示 argument 之间的依赖关系，其中 $k$ 是 trigger 对应的那个 mention 的长度，$n_A$ 是 argument 的种类数
3. $G_i^{arg/trg}\in R^{k\times {n_T}}$ 是存 trigger 和 argument 状态的向量，表示 trigger 和 argument 之间的依赖关系。

预测的过程是一个迭代更新的过程，每次迭代包含三个部分。

1. 预测 trigger
2. 预测 argument
3. 更新 $G$

最终的输出是对于每个 token $w_i$ 的 trigger type $t_i$（若不是 trigger，$t_i$ = others），以及每个 token $w_i$ 在 mention 里每个 entity $e_j$（我觉得就是名词）的 argument role $a_{ij}$（若不是 trigger 或不是 这个 trigger 对应的 argument，$a_{ij}$ = others）。其中 $i=1…n$，$j=1…k$。

3.2.1 trigger 预测

这一步是先对于每个 token $w_i$，构建特征向量 $R_i^{trg} = [h_i,L^{trg}_i,G^{trg}_{i-1}]$，为三部分直接连接，分别如下：

1. $h_i$ 是刚才得到的整句话关于 $w_i$ 的编码；
2. $L^{trg}_i = [D[w_{i-d}],…,D[w_{i}],…,D[w_{i+d}]]$ 是 $w_i$ 跟它上下文的 embedding，就是 Word2Vec 得到的那个拼到一起；
3. $G^{trg}_{i-1}$ 是上一步的记忆向量，具体是啥 3.2.3 再说。

得到特征向量 $R_i^{trg}$ 之后，再把一句话的 $n$ 个特征向量过一层全连接网络、过一层 softmax，就得到每个 token $w_i$ 是 $t$ 这种类型的 trigger 的概率分布 $P^{trg}_{i;t}$，每个 type 都选概率最大的，就得到了 trigger 及 event type 的预测。训练过程是 event type $t$ 作为标签，有监督训练。这篇文章用的是 mini-batch SGD。

3.2.2 argument role 预测

首先，对于 token $w_i$，如果它的 event type 是 others（不是 trigger），那么可以直接把 $a_{i1},…,a_{ik}$ 也全都设成 others。否则，就开始在句子里，遍历每个 entity $e_1,…,e_k$。

对于每个 $e_j$，都和 3.2.1 差不多，先搞一个特征向量 $R_{ij}^{arg}$，再过一个神经网络得到 $e_j$ 关于 trigger $w_i$ 的 argument role 是 $a$ 的概率 $P_{ij;a}^{trg}$，概率最大的，就表明 argument role 是 $a$，故不再赘述。

下面详细说明特征向量 $R_{ij}^{arg}$ 的建立，$R_{ij}^{arg} = [h_i,h_{i_j},L_{ij}^{arg},B_{ij},G_{i-1}^{arg}[j],G_{i-1}^{arg/trg}[j]]$，分别如下：

1. $h_i$ 是编码时得到的整句话关于 $w_i$ 的编码；
2. $h_{i_j}$ 是编码时得到的整句话关于 $e_j$ 的编码；
3. $L_{ij}^{arg}= [D[w_{i-d}],…,D[w_{i}],…,D[w_{i+d}],D[w_{i_j-d}],…,D[w_{i_j}],…,D[w_{i_j+d}]]$ 是 $w_i$ 跟它上下文的 embedding，以及 $e_j$ 跟它上下文的 embedding 全部拼一起；
4. $B_{ij}$ 是 $V_{ij}$ 过一层神经网络的结果（为了“further abstraction”，我理解就是降维、密集），这个 $V_{ij}$ 是 [1] 中提出的，是一个长度为 8 的 binary 向量，每个位置的意思如下面表格所示。
5. $G_{i-1}^{arg}[j]$ 和 $G_{i-1}^{arg/trg}[j]$ 是上一步的记忆矩阵 $G_{i-1}^{arg}$ 和 $G_{i-1}^{arg/trg}$ 关于 $e_j$ 的那一行。

3.2.3 更新记忆矩阵 $G$

三个记忆矩阵 $G_i^{trg}$、$G_i^{arg}$、$G_i^{arg/trg}$ 都是 binary 的（每个位置不是 0 就是 1），更新方式分为如下：

1. $G_i^{trg}\in R^{n_T}$，存储 trigger 之间的依赖关系。$G^{trg}[t_i]=1$ 表示 $t_i$ 的这种 trigger 在这句话里存在。如果这一轮预测出 trigger 的 event type 是 $t_i$，则把对应位置 $G_i^{trg}[t_i]$ 改成 1。为啥要这样设计呢？因为事实上，不同 type 的 trigger 之间是有一定关系的，比如如果出现 die 这件事，那么也非常有可能出现 attack 这件事。
2. $G_i^{arg}\in R^{k\times {n_A}}$，存储 argument 之间的依赖关系。$G^{arg}[j][a] = 1$ 表示 $w_i$ 是 trigger，且 $e_j$ 是 $w_i$ 的 argument，且 $e_j$ 的 argument role 是 $a$。同理，如果这一轮预测出 argument role 是 $a$，就把相应位置改成 1。为啥要这样设计呢？作者在设计的时候只是为了凑数，或者说把可能有用的都搞一下而已。事实上这是没有的，这个将在第四部分详述。
3. $G_i^{arg/trg}\in R^{k\times {n_T}}$，存储 trigger 和 argument 之间的依赖关系。$G^{arg/trg}[j][t] = 1$ 表示 $e_j$ 是 argument，且其所属的 trigger 的 type 是 $t$。如果这一轮预测出 trigger type 是 $t$，就把所有的 $G_i^{arg/trg}[j][t],j=1…k$ 都设成 1。这个我感觉设计的比较奇怪，但是事实证明这样是最好的（…?）

4 实验及结果

1. 对于不同的 $G$，作者对比了三种 $G$ 用不用排列组合的 $2^3=8$ 种情况，发现只用 $G^{arg/trg}$ 的效果是最好的，其次是啥都不用，其他的两个不管怎么排列组合，都是负作用。只用 $G^{arg/trg}$ 和比啥都不用在 trigger 任务上差不多，在 argument 任务上 大幅提升。作者就得出结论，trigger 和 argument 之间的依赖关系是非常强的。（可是我寻思，你这直接把整行都置 1 了，也没体现 argument 和 trigger 的关系哇？）
2. 对于一开始不同的 embedding，具体来说就说 CBOW、Skip-Gram 和 C-CBOW 之间相比，C-CBOW 最好。作者大胆推测，这是因为它输入的更多了，提供的信息更多就让结果更好。我觉得更精确地来讲，就是如果只是 CBOW，那输出只跟邻居有关，C-CBOW 使得在邻居一样的情况下，中心词不也一样，embedding 也不太一样，就更精确一点？
3. 跟之前的 SOTA 相比，JRNN 只在 f1 上是 SOTA。不过要比之前的 joint 方法有很大的提升。作者就得出结论，RNN 很有用。
4. 在一句话有多个 event 的情况里，JRNN 比其他所有方法都强得多，trigger 任务比 DMCNN 高出 14%，argument 任务比 DMCNN 高出 6.5%。可惜在单 event 的argument 任务不敌 DMCNN，作者说这是因为没引入相对位置，而且 $G^{arg/trg}$ 在这种情况也没用上。

5 总结

这是我精度的第二篇事件抽取论文，这样我就大概了解了事件抽取的 pipeline 和 joint 方法。我感觉 trigger 和 argument 的双向关系是 pipeline 方法无法企及的，因此 joint 方法更有前途？这俩就跟深度聚类里 AE + fine-tune 和 基于特定损失 这两类方法类似，还是有一个全局的优化目标好啊！

6 引用

[1] Qi Li, Heng Ji, Liang Huang, “Joint Event Extraction via Structured Prediction with Global Features”, ACL 2013

[mathjax]