Simplifying Graph Convolutional Networks

Felix Wu, et al., “Simplifying Graph Convolutional Networks”, ICML 2019

  • 姓名:SGC
  • 机构:Cornell
  • 动机:更 general 的简化的 GCN
  • 方法:
    • 简化的 general 的 GCN:
      • GCN: $H^k = (\text{ReLU}(SH\Theta))^{k}$
      • SGC: $Y = S^k X \Theta$
    • 分析得到结论:
      • GCN 的 renormalization trick 使滤波器的响应函数在低频增益不那么大
      • SGC 的卷积核就是固定的 k-order filter 对应的响应函数
      • 具体第三部分的分析我没太看懂,fig2 最后为什么到 1.5 就没了,我也不理解,appendix 我更是忽略
  • 性能:训练速度快了 20 倍(相当于单层感知机?),性能比 GCN 差不多或者更好
  • 思考:
    • 那 SGC + 残差链接,岂不是更好?这才是多尺度 filter 哇!
    • 这篇文章也让我更好的理解 GCN,终于明白“特征提取”和“特征变换”这两步是怎么分开 / 各自指什么了
    • 去掉非线性的部分,是不是就要更依赖下游任务初始的 embedding 了?必须要让这个 embedding 空间中的类别线性可分才可以哇?
    • 以后得重新阅读第三部分和附录,感觉是挺重要的一篇文章
  • 其他博客有道理的部分:
    • 虽然 SGC 模型在基准数据集上计算速度快、精度高。但该模型是建立在节点特征本身线性可分的基础之上的。如果原始的节点特征不是线性可分,则每个节点经过 k 次 1 跳传播之后的特征也不是线性可分(因为中间没有非线性变换)。为了弥补 SGC 模型无法拟合非线性数据的不足,可以在网络中加入更多深入学习的非线性拟合神经元。即,使用多层 SGC,并在层与层之间加入非线性激活函数。或是使用 GfNN 模型。图深度学习连载八,入门教程之简化图卷积模型 – 互联网工匠草木生的文章 – 知乎

发表评论