文章目录
- 前言
- 一、位置嵌入（Positional Encoding）的流程
- 二、位置嵌入的作用
- 三、为什么采用正弦和余弦函数
- 四、位置嵌入示例
- 五、结论
前言
亲爱的家人们，创作很不容易，若对您有帮助的话，请点赞收藏加关注哦，您的关注是我持续创作的动力，谢谢大家！有问题请私信或联系邮箱：fn_kobe@163.com
在 Transformer 结构中，位置嵌入（Positional Encoding, PE） 是用来弥补模型缺乏序列信息的问题。由于 Transformer 没有像 RNN 那样的循环结构，它不能像 RNN 那样隐式捕捉输入序列中单词的位置信息，因此需要显式地注入单词的位置信息，即位置嵌入。
一、位置嵌入（Positional Encoding）的流程
二、位置嵌入的作用
三、为什么采用正弦和余弦函数
四、位置嵌入示例
五、结论
