论文笔记 – Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks

Chen, Yubo, et al. “Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks.” ACL 2015

1. 介绍

这篇文章是第一次用 DNN 方法做事件抽取。

之前的方法都是通过文本分析和语言知识获得特征。特征可以分成两类,即词汇级 和 句子级的。词汇级特征包括词性标注(POS)、实体信息、同义词特征(token,lemma)等等,用来得到词的语义信息;句子级特征包括句法结构,用来得到词之间的关系(原文:“which aim to understand how facts are tied together from a larger field of view”)。

CNN 可以提取特征,可以利用最大池化保留句子里最关键的信息。然而,在事件抽取的问题里,一句话可能包含多件事,并且同一个 argument 在这几件事里有不同的 role。事实上,在数据集里,有 27.3% 的句子包含多个事件,这问题很重要。

这篇文章提出一种动态多池化卷积神经网络(DMCNN),可以免去各种麻烦的标注,并同时利用词汇级和句子级特征;为了保留句子里的多个关键事件,设计了动态多池化。

2. 方法

这篇文章大体上还是 Pipeline 的方法,分成 trigger classify 和 argument classify 两步。先用一个 DMCNN 作为 trigger 分类器,找到句子里的 trigger,并分类;如果句子里有 trigger,就再用一个差不多的 DMCNN 作为 argument 分类器,找到trigger 对应的 argument 并分类。由于 argument 这步比较复杂,就先说 argument classify 的 DMCNN。

DMCNN 结构如图所示。对于当前的词,我们输入这个词和它前后的 $c$ 个词的 embedding,通过 DMCNN,得到特征向量;用特征向量作为分类器的输入,有监督训练即可。接下来,我把 DMCNN 分成两部分,分别说明结构。

2.1 词汇级特征提取

是图中下面部分。这篇文章将输入词语的 embedding 直接拼接,就是词汇级的特征了,长度为 $d_l$。

2.2 句子级特征提取

是图中的上面部分。先构建一个 $n\times d$ 的输入矩阵。比如图中,之前得到的 trigger 是 fired,当前词是中间的 an。$c=4$,于是输入上下文共九个词,构建一个 9 $\times$ 7 的矩阵。7=4+1*2+1,其中 4(CWF) 是 an 上下文特征的维度,即对应位置词(比如 tank)的 embedding;中间的 1(PF) 是位置特征,是 tank 离 an 的距离(重复两遍可能是为了更重视?);后面的 1(EF) 是事件种类的特征,是 trigger 的 event type,这个是在第一步 trigger classify 时得到的。

用这个 $n\times d$ 矩阵输入,下面开始卷积。filter 大小为 $h\times d$,即从 $x_i$ 到 $x_{i+h-1}$ 的 $h$ 个词得到特征 $c_i \in R$($i$ 取 1 ~ $n-h+1$),扫一趟就得到特征向量 $c\in R^{n-h+1}$。上面说的是一个 filter,实际上是 $m$ 个 filter,最终得到 $(n-h+1)\times m$ 大小的特征向量。

为了从每个 $(n-h+1)\times d$ 的 feature map 里找到最关键的特征,这篇文章设计了动态多池化。先说说池化,前人方法的池化是从 feature map 里找到一个最大值。这无法满足一句话有多个事件的情况。这篇文章将每个 feature map 以 trigger 为界分开,图中即分成三部分,各自进行最大池化;再把 $m$ 个 feature map 的结果拼在一起,最终得到长度为 $3m$ 的特征。

最后,直接把 2.1 和 2.2 的结果拼到一起,就是最后的特征向量了,再进分类器(FC + Softmax),SGD 优化即可。

2.3 trigger classify

词汇级:只使用这个词和它的左右 token。

句子级:只有 CWF + PF,PF 是这个词的位置;句子由这个词分割成两部分。

3. 实验

  1. 在 trigger classification 和 argument classification 任务上,DMCNN 比当时的 SOTA 高 1% 左右。
  2. 使用动态多池化要比单纯的 CNN 提词汇级特征 + 传统句法分析得到的句子级特征 这种方法好很多(trigger classify 高 2.8%,argument classify 高 4.6%,一句话有多个事件的情况就高得更多,10% 左右了),故动态多池化是有效的。
  3. 对比传统的词汇级特征,用 DMCNN 更好。尤其是当词只在 test 出现,没在 train 出现时,DMCNN 好得多。作者猜测,这是因为 DMCNN 得到的特征表示是连续的,原始方法是离散的。
  4. DMCNN 如果不用词汇级表示,或不用句子级表示,都会更差。

4. 我的总结

这是我看的第一篇事件抽取文章。算法结构不难,是我第一次见 CNN 在文本上的使用,多池化也可以借鉴。

Leave a Comment

电子邮件地址不会被公开。