attention 机制、transformer、BERT,是 NLP 最火的方法了,网络上资源很多,我就列举一下我推荐的、最快最好学明白的文章 & 视频。顺序就是从基础到深入的顺序。当然,随着我进一步学习,如果有发现好资源,也是持续更新中。
- 李宏毅2020机器学习-Transformer 这个视频看了,比读两天论文收获更大!能大致明白流程!
- Transformer原理和实现 再看看这篇博客,是分析代码
- The Annotated Transformer 这是上一篇博客的 src,读上一篇有不懂之处,可以参考着看
- 李宏毅2020机器学习-ELMO, BERT, GPT2 再引申了解一下 BERT