文章目录

• 1: 引言：从 CNN、RNN 到 Transformers
• • 自然语言处理的挑战
  • 传统方法的限制
  • • Recurrent neural networks | 循环神经网络
    • • How RNN works : RNN 的工作原理
    • RNN 的数学模型
  • 最新研究发展：RNN、LSTM等
  • Transformers的出现
  • GPT和ChatGPT
• 2: 基本概念
• • 编码器
  • 解码器
  • 训练 Transformer 模型
  • 自注意力机制
  • • 注意力分数计算公式