Simplifying Graph Convolutional Networks

2021-03-31

Felix Wu, et al., “Simplifying Graph Convolutional Networks”, ICML 2019

  • 姓名：SGC
  • 机构：Cornell
  • 动机：更 general 的简化的 GCN
  • 方法：
    • 简化的 general 的 GCN：
      • GCN: $H^k = (\text{ReLU}(SH\Theta))^{k}$
      • SGC: $Y = S^k X \Theta$
    • 分析得到结论：
      • GCN 的 renormalization trick 使滤波器的响应函数在低频增益不那么大
      • SGC 的卷积核就是固定的 k-order filter 对应的响应函数
      • 具体第三部分的分析我没太看懂，fig2 最后为什么到 1.5 就没了，我也不理解，appendix 我更是忽略
  • 性能：训练速度快了 20 倍（相当于单层感知机？），性能比 GCN 差不多或者更好
  • 思考：
    • 那 SGC + 残差链接，岂不是更好？这才是多尺度 filter 哇！
    • 这篇文章也让我更好的理解 GCN，终于明白“特征提取”和“特征变换”这两步是怎么分开 / 各自指什么了
    • 去掉非线性的部分，是不是就要更依赖下游任务初始的 embedding 了？必须要让这个 embedding 空间中的类别线性可分才可以哇？
    • 以后得重新阅读第三部分和附录，感觉是挺重要的一篇文章
  • 其他博客有道理的部分：
    • 虽然 SGC 模型在基准数据集上计算速度快、精度高。但该模型是建立在节点特征本身线性可分的基础之上的。如果原始的节点特征不是线性可分，则每个节点经过 k 次 1 跳传播之后的特征也不是线性可分（因为中间没有非线性变换）。为了弥补 SGC 模型无法拟合非线性数据的不足，可以在网络中加入更多深入学习的非线性拟合神经元。即，使用多层 SGC，并在层与层之间加入非线性激活函数。或是使用 GfNN 模型。图深度学习连载八，入门教程之简化图卷积模型 – 互联网工匠草木生的文章 – 知乎

发表评论