A General Method for Transferring Explicit Knowledge into Language Model Pretraining 2021-11-02 2021-11-02 https://www.hindawi.com/journals/scn/2021/7115167/将外部知识引入预训练模型。之前 ERNIE 是通过 mask entity 来实现，这里是在 xlnet 后面加入一个 knowledge injunction layer。输入的是句子以及 match 到的知识，并设计了特殊的 positional embedding 。最后在一些下游任务上都有提升
。最后在一些下游任务上都有提升。最后在一些下游任务上都有提升