GRU模型
双向GRU笔记:https://blog.csdn.net/weixin_44579176/article/details/146459952
概念
-
GRU（Gated Recurrent Unit）也称为门控循环单元，是一种改进版的RNN。与LSTM一样能够有效捕捉长序列之间的语义关联，通过引入两个"门"机制（重置门和更新门）来控制信息的流动，从而避免了传统RNN中的梯度消失问题，并减少了LSTM模型中的复杂性。
[^ 要点]:1.GRU同样是通过门机制来解决传统RNN中的梯度消失问题的 2.GRU相比于LSTM更为简洁,它只引入了两个门 :更新门（Update Gate）, 重置门（Reset Gate）
核心组件
-
重置门(Reset Gate)
-
作用: 决定如何将新的输入与之前的隐藏状态结合。
- 当重置门值接近0时，表示当前时刻的输入几乎不依赖上一时刻的隐藏状态。
- 当重置门值接近1时，表示当前时刻的输入几乎完全依赖上一时刻的隐藏状态。
-
公式(变体版本): r t = σ ( W r ⋅ [ h t − 1 , x t ] + b r ) r_t = σ(W_r·[h_{t-1},x_t] + b_r) rt=σ(Wr⋅[ht−1,xt]+br)
- r t r_t rt| 重置门值, r t ∈ ( 0 , 1 ) r_t ∈ (0,1) rt∈(0,1)
- W r W_r Wr 和$ b_r$ | 重置门权值和偏置项
- σ | sigmoid函数 保证 r t r_t rt的输出值在 0 到 1之间
-
-
更新门(Update Gate)
-
作用: 决定多少之前的信息需要保留，多少新的信息需要更新。
- 当更新门值接近0时，意味着网络只记住旧的隐藏状态，几乎没有新的信息。
- 当更新门值接近1时，意味着网络更倾向于使用新的隐藏状态，记住当前输入的信息。
-
公式(变体版本): z t = σ ( W r ⋅ [ h t − 1 , x t ] + b z ) z_t = σ(W_r·[h_{t-1},x_t] + b_z) zt=σ(Wr⋅[ht−1,xt]+bz)
- z t z_t zt| 更新门值, z t ∈ ( 0 , 1 ) z_t ∈ (0,1) zt∈(0,1)
- W r W_r Wr 和$ b_r$ | 重置门权值和偏置项
- σ | sigmoid函数 保证 z t z_t zt的输出值在 0 到 1之间
-
-
候选隐藏状态(Candidate Hidden State)
-
作用: 捕捉当前时间步的信息，多少前一隐藏状态的信息被保留。
-
公式(变体版本): h ^ t = t a n h ( W h ⋅ [ r t ⊙ h t − 1 , x t ] + b h ) ĥ_t = tanh(W_h · [r_t \odot h_{t-1} , x_t] + b_h) h^t=tanh(Wh⋅[rt⊙ht−1,xt]+bh)
- h ^ t ĥ_t h^t| 候选隐藏状态值, h ^ t ∈ ( − 1 , 1 ) ĥ_t ∈ (-1,1) h^t∈(−1,1)
- W h W_h Wh 和$ b_h$ | 候选隐藏状态的权重和偏置项
- tanh| 双曲正切函数 保证 h t h_t ht的输出值在 -1 到 1之间
- ⊙ \odot ⊙ | Hadamard Product
-
-
最终隐藏状态(Final Hidden State)
-
作用: 控制信息更新，传递长期依赖。
-
公式(变体版本): h t = ( 1 − z t ) ⊙ h t − 1 + z t ⊙ h ^ t h_t = (1-z_t) \odot h_{t-1} + z_t \odot ĥ_t ht=(1−zt)⊙ht−1+zt⊙h^t
- h t h_t ht| 当前时间步的隐藏状态
- z t z_t zt | 更新门的输出，控制新旧信息的比例
- ⊙ \odot ⊙ | Hadamard Product
重置门与更新的对比
门控机制 核心功能 直观理解 重置门（Reset Gate） 控制历史信息对当前候选状态的影响：决定是否忽略部分或全部历史信息，从而生成新的候选隐藏状态。 “是否忘记过去，重新开始？”（例如：处理句子中的突变或新段落） 更新门（Update Gate） 控制新旧信息的融合比例：决定保留多少旧状态的信息，同时引入多少候选状态的新信息。 “保留多少旧记忆，吸收多少新知识？”（例如：维持长期依赖关系） 重置门作用举例:
input: [‘风’,‘可以’,‘吹起’,‘一大张’,‘白纸’,‘却’,‘无法’,‘吹走’,‘一只’,‘蝴蝶’,‘因为’,‘生命’,‘的’,‘力量’,‘在于’,‘不’,‘顺从’]
-
当处理到 ‘却’ 时,上文信息 : 风可以吹起一大张白纸
- 重置门值 : r t = 0.3 r_t = 0.3 rt=0.3
- 作用:忽略部分历史信息,弱化上文影响,为后续信息(无法吹走一只蝴蝶)腾出空间
- 更新门值 : z t = 0.8 z_t = 0.8 zt=0.8
- 作用: 表示保留更多候选隐藏状态(由于 r t r_t rt是一个较小的值,所以候选隐藏状态中新信息占比更大) 的信息
[^ 注]: 此时$ h_t $接近 $ ĥ_t$，隐藏状态被重置为“准备处理转折后的新逻辑”。
- 重置门值 : r t = 0.3 r_t = 0.3 rt=0.3
-
当处理到 ‘因为’ 时,上文信息 : 少部分的 "风可以吹起一大张白纸 " + 大部分的 “无法吹走蝴蝶”
- 重置门值 : r t = 0.8 r_t = 0.8 rt=0.8
- 作用:保留更多上文信息,以便与后续原因关联
- 更新门值 : z t = 0.5 z_t = 0.5 zt=0.5
- 作用: 平衡旧状态(上文结论) 和 新状态(下文原因) ,逐步构建完整的逻辑链
- 重置门值 : r t = 0.8 r_t = 0.8 rt=0.8
-
内部结构
- GRU的更新门和重置门结构图
Pytorch实现
nn.GRU(input_size, hidden_size, num_layers, bidirectional, batch_first, dropout)[^ input_size ]:输入特征的维度
[^ hidden_size ]:隐藏状态的维度
[^ num_layers ]:GRU的层数（默认值为1）
[^ batch_first ]:如果为True，输入和输出的形状为 (batch_size, seq_len, input_size)；否则为 (seq_len, batch_size, input_size)
[^ bidirectional ]:如果为True，使用双向GRU；否则为单向GRU（默认False）
[^ dropout ]:在多层GRU中，是否在层之间应用dropout（默认值为0）
使用示例
# 定义GRU的参数含义: (input_size, hidden_size, num_layers)
# 定义输入张量的参数含义: (sequence_length, batch_size, input_size)
# 定义隐藏层初始张量的参数含义: (num_layers * num_directions, batch_size, hidden_size)
import torch.nn as nn
import torchdef dm_gru():# 创建GRU层gru = nn.GRU(input_size=5, hidden_size=6, num_layers=2)# 创建输入张量input = torch.randn(size=(1, 3, 5))# 初始化隐藏状态h0 = torch.randn(size=(2, 3, 6))# hn输出两层隐藏状态, 最后1个隐藏状态值等于output输出值output, hn = gru(input, h0)print('output--->', output.shape, output)print('hn--->', hn.shape, hn)
![[动手学习深度学习]28. 批量归一化](https://i-blog.csdnimg.cn/direct/60ad93454bc7428eb61af414343d2035.png)
![NSSCTF(MISC)——[NSSRound#4 SWPU]Type Message](https://i-blog.csdnimg.cn/direct/1b79d344c94e400ba44d1abb4a2eed1c.jpeg)