整体框架
机器翻译流程(Transformer)
通过机器翻译来做解释
给一个输入,给出一个输出(输出是输入的翻译的结果)
“我是一个学生” --》(通过 Transformer) I am a student
流程 1
编码器和解码器
编码器:把输入变成一个词向量(Self-Attetion)
解码器:得到编码器输出的词向量后,生成翻译的结果
流程 2
Nx 的意思是,编码器里面又有 N 个小编码器(默认 N=6)
通过 6 个编码器,对词向量一步又一步的强化(增强)
流程 3
说了这么多,了解 Transformer 就是了解 Transformer 里的小的编码器(Encoder)和小的解码器(Decoder)
FFN(Feed Forward):w2((w1x+b1))+b2
流程 4