为什么GRU和LSTM能够缓解梯度消失或梯度爆炸问题？

1、什么是梯度消失（gradient vanishing）？

参数更新过小，在每次更新时几乎不会移动，导致模型无法学习。

2、什么是梯度爆炸（gradient exploding）？

参数更新过大，破坏了模型的稳定收敛。

3、利用梯度截断来缓解梯度爆炸问题

$\textbf{g}\leftarrow min\left ( 1,\frac{\theta }{\left \| \mathbf{g} \right \|} \right )\mathbf{g}$

4、门控循环单元（GRU）与普通的循环神经网络之间的关键区别是：GRU支持隐状态门控。模型有专门的机制来确定应该何时来更新隐状态，以及何时重置隐状态。这些机制是可学习的。

5、长短期记忆网络（LSTM）引入记忆元，记忆元的设计目的是用于记录附加的信息。为了控制记忆元，需要许多门，输入门、遗忘门和输出门。

6、GRU和LSTM中的门控设计策略，能够有助于缓解梯度消失或梯度爆炸问题。主要是解决长序列梯度计算中幂指数大小的问题（长序列意味着高阶乘积计算，容易导致梯度极大或极小），可以通过门控设计来直接减少高阶乘积大小（直接替换高阶乘积计算，替换为合理数值），从而缓解梯度消失或梯度爆炸问题。

7、循环神经网络的梯度爆炸和梯度消失的具体原因分析：

循环神经网络中，通过时间反向传播（backpropagation through time，BPTT）实际上是循环神经网络中反向传播技术的一个特定应用。

（1）它要求我们将循环神经网络的计算图以此展开一个时间步，以获得模型变量和参数之间的依赖关系

（2）然后，基于链式法则，应用反向传播来计算和存储梯度。

（3）由于序列可能相当长，因此依赖关系链也可能相当长。

例如，某个1000个字符的序列，其第一个词元可能会对最后位置的词元产生重大影响。这在计算上是不可行的，它需要的时间和内存都太多了，并且还需要超过1000个矩阵的乘积才能得到非常难以捉摸的梯度。这个过程充满可计算与统计的不确定性。

8、循环神经网络的梯度分析

分析一个简化的模型，此模型描述了循环神经网络工作原理，模型中忽略了隐状态及其更新方式的细节。

在简化模型中，将时间步 $t$ 的隐状态表示为 $h_{t}$ ，输入表示为 $x_{t}$ ，输出表示为 $o_{t}$ 。 $w_{h}$ 和 $w_{o}$ 分别表示隐藏层和输出层的权重。 $f$ 和 $g$ 分别表示隐藏层和输出层的变换。

$h_{t} =f\left ( x_{t} ,h_{t-1},w_{h}\right )$

$o_{t}=g\left ( h_{t} ,w_{o}\right )$

前向传播的计算：

$L\left ( x_{1} ,...,x_{T}, y_{1} ,...,y_{T},w_{h} ,w_{o}\right )=\frac{1}{T}\sum_{t=1}^{T}l\left ( y_{t} ,o_{t}\right )$

反向传播的计算：

$\frac{\partial L}{\partial w_{h}}=\frac{1}{T}\sum_{t=1}^{T}\frac{\partial l\left ( y_{t},o_{t} \right )}{\partial w_{h}}$

$=\frac{1}{T}\sum_{t=1}^{T}\frac{\partial l\left ( y_{t},o_{t} \right )}{\partial o_{t}}\frac{\partial g\left ( h_{t} ,w_{o}\right )}{\partial h_{t}}\frac{\partial h_{t}}{\partial w_{h}}$

上式中第一项和第二项很容易计算，第三项 $\frac{\partial h_{t}}{\partial w_{h}}$ 是比较难计算的，我们需要循环的计算参数 $w_{h}$ 对 $h_{t}$ 的影响。

经过推导（此处省略推导过程），得到：

$\frac{\partial h_{t}}{\partial w_{h}}=\frac{\partial f\left ( x_{t},h_{t-1},w_{h} \right )}{\partial w_{h}}+\sum_{t-1}^{i}\left (\prod_{j=i+1}^{t} \frac{\partial f\left ( x_{j},h_{j-1},w_{h} \right )}{\partial h_{j-1}} \right )\frac{\partial f\left ( x_{i},h_{i-1},w_{h} \right )}{\partial w_{h}}$

其中当 $t$ 很大时，链就很长，其中 $\prod$ 代表的乘积阶数就会很高。

这样就会导致最终的梯度 $\frac{\partial L}{\partial w_{h}}$ 会因为其中的高阶数的乘积变得很敏感，容易产生非常大的数（梯度爆炸）和非常小的数（梯度消失）。

9、梯度计算的细节分析

这里我们具体讨论通过时间反向传播（backpropagation through time，BPTT）的细节。我们将展示目标函数对于所有模型参数的梯度计算方法。

出于简单的目的，我们以一个没有偏置参数的循环神经网络，其在隐藏层中的激活函数使用恒等函数（ $\phi \left ( x \right )=x$ ）。

对于时间步 $t$ ，单个样本的输入及其标签分别为 $\mathbf{x}_{t}\in \mathbb{R}^{d}$ 和 $y_{t}$ 。计算隐状态 $\mathbf{h}_{t}\in \mathbb{R}^{h}$ 和输出 $\mathbf{o}_{t}\in \mathbb{R}^{q}$ 的公式为

$\mathbf{h}_{t}=\mathbf{W}_{hx}\mathbf{x}_{t}+\mathbf{W}_{hh}\textbf{h}_{t-1}$

$\mathbf{o}_{t}=\mathbf{W}_{qh}\mathbf{h}_{t}$

其中，权重参数为 $\mathbf{W}_{hx}\in \mathbb{R}^{h\times d}$ ， $\mathbf{W}_{hh}\in \mathbb{R}^{h\times h}$ 和 $\mathbf{W}_{qh}\in \mathbb{R}^{q\times h}$ 。

目标函数为：

$L=\frac{1}{T}\sum_{t=1}^{T}l\left ( y_{t} ,\mathbf{o}_{t}\right )$

。

通常，训练这个模型需要对这些参数分别进行梯度计算： $\partial L/\partial \textbf{W}_{hx}$ 、 $\partial L/\partial \textbf{W}_{hh}$ 和 $\partial L/\partial \textbf{W}_{qh}$ 。

$\frac{\partial L}{\partial \textbf{o}_{t}}=\frac{\partial l\left ( \textbf{o}_{t},y_{t} \right )}{T\cdot \partial o_{t}}\in \mathbb{R}^{q}$

$\frac{\partial L}{\partial \mathbf{W}_{qh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{o}_{t}}\textbf{h}_{t}^{\top }$

$\frac{\partial L}{\partial \mathbf{W}_{hx}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{x}_{t}^{\top }$

$\frac{\partial L}{\partial \mathbf{W}_{hh}}=\sum_{t=1}^{T}\frac{\partial L}{\partial \textbf{h}_{t}}\textbf{h}_{t-1}^{\top }$

其中：

$\frac{\partial L}{\partial \mathbf{h}_{t}}=\sum_{i=t}^{T}\left (\textbf{W} _{hh}^{\top } \right )^{T-i}\textbf{W}_{qh}^{\top }\frac{\partial L}{\partial \textbf{o}_{T+t-i}}$

从 $\frac{\partial L}{\partial \mathbf{h}_{t}}$ 中可以看到，这个简单的线性例子已经展现出长序列模型的一些关键问题：

它陷入到了 $\textbf{W} _{hh}^{\top }$ 的潜在的非常大的指数幂。在这个指数幂中，小于1的特征值将会消失（出现梯度消失），大于1的特征值将会发散（出现梯度爆炸）。

10、GRU和LSTM中的门控设计策略对于缓解梯度消失或梯度爆炸问题的原理和机制

（1）GRU门控设计策略

支持隐状态的门控。这意味着模型有专门的机制来确定应该何时更新隐状态，以及应该何时重置隐状态。这些机制是可学习的，并且能够解决了上面列出的问题。例如，如果第一个词元非常重要，模型将学会在第一次观测之后不更新隐状态。同样，模型也可以学会跳过不相关的临时观测。最后，模型还将学会在需要的时候重置隐状态。

下面具体讨论各类门控的作用。

重置门有助于捕获序列中的短期依赖关系。

更新门有助于捕获序列中的长期依赖关系。

重置门的数学表达式：

对于给定的时间步 $t$ ，假设输入是一个小批量 $\textbf{X}_{t}\in \mathbb{R}^{n\times d}$ （样本数 $n$ ，输入数 $d$ ），前一个时间步的隐状态是 $\mathbf{H}_{t-1}\in \mathbb{R}^{n\times h}$ （隐藏单元数 $h$ ）。

那么，重置门 $\textbf{R}_{t}\in \mathbb{R}^{n\times h}$ 和更新门 $\textbf{Z}_{t}\in \mathbb{R}^{n\times h}$ 的计算方式如下所示：

$\textbf{R}_{t}=\sigma \left ( \mathbf{X}_{t}\mathbf{W}_{xr}+\mathbf{H}_{t-1}\mathbf{W}_{hr}+\mathbf{b}_{r} \right )$

$\textbf{Z}_{t}=\sigma \left ( \mathbf{X}_{t}\mathbf{W}_{xz}+\mathbf{H}_{t-1}\mathbf{W}_{hz}+\mathbf{b}_{z} \right )$

其中， $\textbf{W}_{xr}\in \mathbb{R}^{d\times h}$ 、 $\textbf{W}_{xz}\in \mathbb{R}^{d\times h}$ 、 $\textbf{W}_{hr}\in \mathbb{R}^{h\times h}$ 和 $\textbf{W}_{hz}\in \mathbb{R}^{h\times h}$ 是权重参数， $\mathbf{b}_{r}\in \mathbb{R}^{1\times h}$ ， $\mathbf{b}_{z}\in \mathbb{R}^{1\times h}$ 是偏置参数。 $\sigma$ 表示sigmoid函数，将输入值转换到区间（0,1）内。

将重置门 $\textbf{R}_{t}$ 与常规隐状态更新机制集成，得到时间步 $t$ 的候选隐状态 $\mathbf{\widetilde{H}}_{t}\in \mathbb{R}^{n\times h}$ ：

$\mathbf{\widetilde{H}}_{t}=tanh\left ( \mathbf{X}_{t}\mathbf{W}_{xh}+\left (\textbf{R}_{t}\bigodot \mathbf{H}_{t-1} \right )\mathbf{W}_{hz}+\mathbf{b}_{h} \right )$

。

候选隐状态结合更新门 $\textbf{Z}_{t}$ ，形成新的隐状态 $\mathbf{\widetilde{H}}_{t}\in \mathbb{R}^{n\times h}$ ：

$\mathbf{H}_{t}=\mathbf{Z}_{t}\bigodot \mathbf{H}_{t-1}+\left (1-\mathbf{Z}_{t} \right )\bigodot \mathbf{\widetilde{H}}_{t}$

。

每当更新门 $\textbf{Z}_{t}$ 接近1时，模型就倾向只保留旧状态。此时，来自 $\textbf{X}_{t}$ 的信息基本上被忽略，从而有效地跳过了依赖链条中的时间步 $t$ 。相反，当 $\textbf{Z}_{t}$ 接近0时，新的隐状态 $\textbf{H}_{t}$ 就会接近候选隐状态 $\mathbf{\widetilde{H}}_{t}$ 。这些设计可以帮助我们处理循环神经网络中的梯度消失问题，并更好地捕获时间步距离很长的序列的依赖关系。例如，如果整个子序列的所有时间步的更新门都接近于1，则无论序列的长度如何，在序列起始时间步的旧隐状态都将很容易保留并传递到序列结束。