How Attentive are Graph Attention Networks?

  • 来源:arXiv:2105.14491v1
  • 任务:GNN 表达能力
  • 动机:GAT 的 attention 表达能力弱,改进 Graph attention
  • 解释:GAT 的 attention 是 Static attention,即对于节点集合里最关键的节点,它与所有节点的 attention score 都一定比其它两两节点之间的 attention score 要大,换句话说,GAT 得到的 attention matrix 里,是列与列之间存在整体“这一列都比那一列大”的。这限制了 GAT 的表达能力(不能很好地拟合训练集)
  • 方法:小小改动 并证明了 GATv2 是 Dynamic attention(看不懂了)
  • 实验:
    • 造了一个特殊的图,GATv2 能拟合,GAT 不行
    • 真实数据集上,抗噪能力更强
    • 下游任务上,节点分类、链路预测,性能都更好

发表评论