How Attentive are Graph Attention Networks?

2021-06-30
  • 来源：arXiv:2105.14491v1
  • 任务：GNN 表达能力
  • 动机：GAT 的 attention 表达能力弱，改进 Graph attention
  • 解释：GAT 的 attention 是 Static attention，即对于节点集合里最关键的节点，它与所有节点的 attention score 都一定比其它两两节点之间的 attention score 要大，换句话说，GAT 得到的 attention matrix 里，是列与列之间存在整体“这一列都比那一列大”的。这限制了 GAT 的表达能力（不能很好地拟合训练集）
  • 方法：小小改动 并证明了 GATv2 是 Dynamic attention（看不懂了）
  • 实验：
    • 造了一个特殊的图，GATv2 能拟合，GAT 不行
    • 真实数据集上，抗噪能力更强
    • 下游任务上，节点分类、链路预测，性能都更好

发表评论