- 来源:arXiv:2105.14491v1
- 任务:GNN 表达能力
- 动机:GAT 的 attention 表达能力弱,改进 Graph attention
- 解释:GAT 的 attention 是 Static attention,即对于节点集合里最关键的节点,它与所有节点的 attention score 都一定比其它两两节点之间的 attention score 要大,换句话说,GAT 得到的 attention matrix 里,是列与列之间存在整体“这一列都比那一列大”的。这限制了 GAT 的表达能力(不能很好地拟合训练集)
- 方法:小小改动
并证明了 GATv2 是 Dynamic attention(看不懂了)
- 实验:
- 造了一个特殊的图,GATv2 能拟合,GAT 不行
- 真实数据集上,抗噪能力更强
- 下游任务上,节点分类、链路预测,性能都更好