当你在2017年第一次听说Transformer时,可能不会想到这个模型会在短短三年内彻底改变NLP领域。想象一下,原本需要数周训练的翻译模型,现在用Transformer架构几天就能达到更好的效果;那些让程序员们头疼的梯度消失问题,突然变得不再重要。这一切的魔法钥匙,都藏在一个叫做"注意力机制"的黑匣子里。本文要做的,就是把这个黑匣子拆解成乐高积木,让你看到每个零件的运作原理。准备好了吗?我们要从最基础的神经元开始,一路讲到GPT-4的秘密。
一、注意力机制:让AI学会"划重点"的魔法
1.1 传统神经网络的致命缺陷
在Transformer出现之前,RNN(循环神经网络)是处理序列数据的标配。但每个学过RNN的人都会遇到这样的噩梦:当处理"The cat, which ate all the fish in the aquarium that was bought last week, is sleeping"这样的长句子时,RNN就像得了健忘症的老人,记不住句首的主语是什么。
这是因为RNN的隐藏状态要像接力棒一样逐个传递,经过数十个时间步后,初始信息早已面目全非。更要命的是,这种串行结构让GPU的并行计算能力完全使不上劲——就像让法拉利跑车在乡间小道上行驶。