GNN-LM: Language Modeling based on Global Contexts via GNN
- https://arxiv.org/pdf/2110.08743.pdf
- 结合 GNN 的 LM
input 前 t-1 个 token，得到 token t 的表示之后，在数据集里找到差不多的 instance，建立右边的图，过几层 GNN，得到 token t 的真正表示。大概是这个思想，具体好像比较复杂，没仔细看- 性能要比原来的 LM 好，但是时间空间复杂度都差了很多
input 前 t-1 个 token，得到 token t 的表示之后，在数据集里找到差不多的 instance，建立右边的图，过几层 GNN，得到 token t 的真正表示。大概是这个思想，具体好像比较复杂，没仔细看