Hui Chen, et al., “Dialogue Relation Extraction with Document-level Heterogeneous Graph Attention Networks”, arXiv 2020
目录
展开
1 简介
- 姓名:DHGAT
- 机构:新加坡科技设计大学
- 任务:DialogRE
- 动机:引入 speaker 之间的关系信息
- 方法:hierarchical LSTM 得到 token 表示,建图,指定 meta path 的 res-GAT,最后分类。
- LSTM:
- utterence-level / local:每个 utterence 用 LSTM 编码,(拼接 POS 和 entity type),得到 token 的 embedding;
- doc-level / global:max pooling 得到一个 utterence 的 embedding,再输入 LSTM,更新 utterence 的 embedding
- 建图:
- 点:speaker, word, utterence, entity type, argument
- 边:word -> utterence(这里使用 POS 作为边的 embedding), word -> entity type, speaker -> utterence, argument -> utterence, argument -> entity type。其它边的 embedding 都是用随机初始化。
- meta path 推断:
- 是一种特别的 rGAT,每次指明要更新的点的类型,impressive
- Vu -> Vb -> Vt -> Vb -> Vu -> Vb,每个 -> 代表 res-GAT + linear
- LSTM:
- 性能:不用 BERT 的 SOTA
- 缺点:引入了 argument node,一张图只能学一个 pair,太慢啦
- 短评:meta path 推断和 hierarchical LSTM 真是很有意思,不知道是不是作者原创的
2 方法

整体流程如上图所示。encoder 和建图在 intro 已经说的比较详细了,下面只详细说一下魔改 GAT 和 meta path 的推断。
2.1 魔改 GAT
原先 GAT 在计算 logit 时,就是两个点拼一起,linear + relu;作者引入了边的 embedding:$$\mathcal{F}(h_i,h_j) = \text{LeakyReLU}(a^T(W_ih_i;w_jh_j;E_{ij}))$$ $$\alpha_{ij} = \frac{\exp(\mathcal{F}(h_i,h_j))}{\sum_k\exp(\mathcal{F}(h_i,h_k))}$$
2.2 meta path inference
作者把点归了三类:$V_u$ 表示 utterence nodes,$V_b$ 表示 word nodes, speaker nodes and argument nodes,$V_t$ 表示 entity type nodes。推断的时候采用 Vu -> Vb -> Vt -> Vb -> Vu -> Vb 的顺序,即

每次 GAT 都只采取特定的节点,而且这次 GAT 之后,只有特定节点中的特定节点更新。(我是这么理解的)这样其实就相当于规定了顺序的 RGCN(前面计算 attn score 就相当于对不同边的类型有了不同的权重,这里又指明了更新的顺序)。感觉方法很有意思,一定要看一下它的实现方式。
3 实验
- 不用 BERT 的 sota,
- POS embedding, NER embedding, and POS edge feature 都有用,POS embedding 有 2% 的 drop
- 推断,现在的三次最好
- 显显式拼接 entity type,让关系分类过于依赖 type,在小众 rel 时容易混淆
4 思考
- dialogRE 可不可以用 temporal GCN 来做?每个 utterence 是一个 timestep,每次都扩充这张图这样?loss 的时候也对时间做一个惩罚,这样 f1c 说不定会表现的好一些?
- 在建图的时候,作者对 word node 使用 Glove,感觉有点奇怪,前面 LSTM 不是已经得到了带 context 信息、带 entity type、带 POS 信息的 embedding 了嘛?为啥不用这个更好的呢?
- 在词的后面拼接 POS 信息,这个我是第一次见,这有什么道理吗?不太能明白。
- 建图的时候加入的 argument node,也可以理解成是 anchor 的使用,感觉可以和 这篇文章 的 4.3 一起总结一下。而且这个 argument node 在 DocRED 上也是能借鉴的。
5 TODO
- meta path inference 的实现
- DialogRE 里面 95% 的 entity pair 都是跨句子的?!