序言

在探索序列数据的深层规律时，循环神经网络（$\text{RNN}$）以其独特的设计思想成为了序列建模领域的中流砥柱。与传统的神经网络不同，$\text{RNN}$引入了循环结构，使得网络能够处理任意长度的序列数据，并在处理过程中保留对之前信息的记忆。这种设计使得$\text{RNN}$能够捕捉序列中的时间依赖性和动态变化，从而有效应用于自然语言处理、时间序列预测、语音识别等多个领域。通过训练，$\text{RNN}$能够学习到序列数据的内在规律和模式，进而对未来的数据进行预测或生成。

循环神经网络

• 基于序列建模之循环和递归网络 - 展开计算图篇中的图展开和参数共享的思想，我们可以设计各种循环神经网络。
• 循环神经网络中一些重要的设计模式包括以下几种：
  • 每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络，如图例1所示。
  • 每个时间步都产生一个输出，只有当前时刻的输出到下个时刻的隐藏单元之间有循环连接的循环网络，如图例2所示。
  • 隐藏单元之间存在循环连接，但读取整个序列后产生单个输出的循环网络，如图例3所示。
• 图例1是非常具有代表性的例子，我们将会在本篇章大部分涉及这个例子。
• 任何图灵可计算的函数都可以通过这样一个有限维的循环网络计算，在这个意义上图例1和公式1的循环神经网络是万能的。
  • $\text{RNN}$经过若干时间步后读取输出，这与由图灵机所用的时间步是渐近线性的，与输入长度也是渐近线性的 ($\text{Siegelmann and Sontag, 1991; Siegelmann, 1995; Siegelmann and Sontag, 1995;Hyotyniemi, 1996}$)。
  • 由图灵机计算的函数是离散的，所以这些结果都是函数的具体实现，而不是近似。
  • $\text{RNN}$作为图灵机使用时，需要一个二进制序列作为输入，其输出必须离散化后提供二进制输出。
  • 利用单个有限大小的特定RNN计算在此设置下的所有函数是可能的（ $\text{Siegelmann and Sontag (1995)}$ 用了 $886$ 个单元）。
  • 图灵机的 ‘‘输入’’ 是要计算函数的详细说明 ($\text{specification}$)，所以模拟此图灵机的相同网络足以应付所有问题。
  • 用于证明的理论$\text{RNN}$可以通过激活和权重（由无限精度的有理数表示）来模拟无限堆栈。
• 现在我们研究图例1中$\text{RNN}$的前向传播公式。
  • 这个图没有指定隐藏单元的激活函数。我们假设使用双曲正切激活函数。
  • 此外，图中没有明确指定何种形式的输出和损失函数。
  • 我们假定输出是离散的，如用于预测词或字符的$\text{RNN}$。
  • 一种代表离散变量的自然方式是把输出 $\mathbf{o}$ 作为每个离散变量可能值的非标准化对数概率。
  • 然后，我们可以应用$\text{softmax}$函数后续处理后，获得标准化后概率的输出向量 $\hat{\mathbf{y}}$。
  • $\text{RNN}$从特定的初始状态 ${\mathbf{h}}^{(0)}$ 开始前向传播。
  • 从 $t=1$ 到 $t=\tau$ 的每个时间步，我们应用以下更新方程：
    $\{\begin{array}{l}\begin{array}{rlr}{\mathbf{a}}^{(t)}& =\mathbf{b}+{\mathbf{W}\mathbf{h}}^{(t-1)}+{\mathbf{U}\mathbf{x}}^{(t)}& \text{—公式1}\\ {\mathbf{h}}^{(t)}& =\tanh ({\mathbf{a}}^{(t)})& \text{—公式2}\\ {\mathbf{o}}^{(t)}& =\mathbf{c}+{\mathbf{V}\mathbf{h}}^{(t)}& \text{—公式3}\\ {\hat{\mathbf{y}}}^{(t)}& =\text{softmax}({\mathbf{o}}^{(t)})& \text{—公式4}\end{array}\end{array}$ $\text{—公式1}$ $\text{—公式2}$ $\text{—公式3}$ $\text{—公式4}$
    • 其中的参数的偏置向量$\mathbf{b}$和$\mathbf{c}$连同权重矩阵$\mathbf{U}$、$\mathbf{V}$和$\mathbf{W}$，分别对应于输入到隐藏、隐藏到输出和隐藏到隐藏的连接。
    • 这个循环网络将一个输入序列映射到相同长度的输出序列。
    • 与 $\mathbf{x}$ 序列配对的 $\mathbf{y}$ 的总损失就是所有时间步的损失之和。
  • 例如， $L^{(t)}$ 为给定的 ${\mathbf{x}}^{(1)},\dots ,{\mathbf{x}}^{(t)}$后 ${\mathbf{y}}^{(t)}$ 的负对数似然，则：
    { L ( { x ( 1 ) , … , x ( τ ) } , { y ( 1 ) , … , y ( τ ) } ) — 公式5 = ∑ t L ( t ) — 公式6 = − ∑ t log ⁡ p model ( y ( t ) ∣ { x ( 1 ) , … , x ( t ) } ) — 公式7 \begin{cases}\begin{aligned}&L(\{\boldsymbol{x}^{(1)},\dots,\boldsymbol{x}^{(\tau)}\},\{\boldsymbol{y}^{(1)},\dots,\boldsymbol{y}^{(\tau)}\})&\quad\textbf{---\footnotesize{公式5}}\\&=\sum\limits_t L^{(t)}&\quad\textbf{---\footnotesize{公式6}}\\&=-\sum\limits_t\log p_{\text{model}}(y^{(t)}|\{\boldsymbol{x}^{(1)},\dots,\boldsymbol{x}^{(t)}\})&\quad\textbf{---\footnotesize{公式7}}\end{aligned}\end{cases} ⎩⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎧​​L({x(1),…,x(τ)},{y(1),…,y(τ)})=t∑​L(t)=−t∑​logpmodel​(y(t)∣{x(1),…,x(t)})​—公式5—公式6—公式7​​ $\text{—公式5}$ $\text{—公式6}$ $\text{—公式7}$
    • 其中， p model ( y ( t ) ∣ { x ( 1 ) , … , x ( t ) } ) p_{\text{model}}(y^{(t)}|\{\boldsymbol{x}^{(1)},\dots,\boldsymbol{x}^{(t)}\}) pmodel​(y(t)∣{x(1),…,x(t)})需要读取模型输出向量 ${\hat{\mathbf{y}}}^{(t)}$ 中对应于 $y^{(t)}$ 的项。
    • 关于各个参数计算这个损失函数的梯度是昂贵的操作。
    • 梯度计算涉及执行一次前向传播（如在图例1展开图中从左到右的传播），接着是由右到左的反向传播。
    • 运行时间是 $\mathrm{O}(\tau )$，并且不能通过并行化来降低，因为前向传播图是固有循序的; 每个时间步只能一前一后地计算。
    • 前向传播中的各个状态必须保存，直到它们反向传播中被再次使用，因此内存代价也是 $\mathrm{O}(\tau )$。
    • 应用于展开图且代价为 $\mathrm{O}(\tau )$ 的反向传播算法称为通过时间反向传播 ($\text{back-propagation through time, BPTT}$)，将在计算循环神经网络的梯度进一步讨论。
    • 因此隐藏单元之间存在循环的网络非常强大但训练代价也很大。
    • 我们是否有其他选择呢？

Teacher Forcing和输出循环网络

• 仅在一个时间步的输出和下一个时间步的隐藏单元间存在循环连接的网络（示于图例2）确实没有那么强大（因为缺乏隐藏到隐藏的循环连接）。
  • 例如，它不能模拟通用图灵机。
  • 因为这个网络缺少隐藏到隐藏的循环，它要求输出单元捕捉用于预测未来的关于过去的所有信息。
  • 因为输出单元明确地训练成匹配训练集的目标，它们不太能捕获关于过去输入历史的必要信息，除非用户知道如何描述系统的全部状态，并将它作为训练目标的一部分。
  • 消除隐藏到隐藏循环的优点在于，任何基于比较时刻 $t$ 的预测和时刻 $t$ 的训练目标的损失函数中的所有时间步都解耦了。
  • 因此训练可以并行化，即在各时刻 $t$ 分别计算梯度。因为训练集提供输出的理想值，所以没有必要先计算前一时刻的输出。
• 从输出导致循环连接的模型可用$\text{Teacher Forcing}$进行训练。
  • Teacher Forcing是使用最大似然准则的过程，并且在时刻 $t+1$ 接收真实值 $y^{(t)}$ 作为输入（训练模型时）。
  • 我们可以通过检查两个时间步的序列得知这一点。条件最大似然准则是：
    $\{\begin{array}{l}\begin{array}{rlr}& \log p({\mathbf{y}}^{(1)},{\mathbf{y}}^{(2)}|{\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)})& \text{—公式8}\\ & =\log p({\mathbf{y}}^{(2)}|{\mathbf{y}}^{(1)},{\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)})+\log p({\mathbf{y}}^{(1)}|{\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)})& \text{—公式9}\end{array}\end{array}$ $\text{—公式8}$ $\text{—公式9}$
    • 在这个例子中，同时给定迄今为止的 $\mathbf{x}$ 序列和来自训练集的前一 $\mathbf{y}$ 值，我们可以看到在时刻 $t=2$ 时，模型被训练为最大化 ${\mathbf{y}}^{(2)}$ 的条件概率。
    • 因此最大似然在训练时指定正确反馈，而不是将自己的输出反馈到模型。
    • 如图例4所示。
• 我们使用$\text{Teacher Forcing}$的最初动机是为了在缺乏隐藏到隐藏连接的模型中避免通过时间反向传播。
  • 只要模型一个时间步的输出与下一时间步计算的值存在连接，$\text{Teacher Forcing}$仍然可以应用到这些存在隐藏到隐藏连接的模型。
  • 然而，只要隐藏单元成为较早时间步的函数， $\text{BPTT}$算法是必要的。
  • 因此训练某些模型时要同时使用$\text{Teacher Forcing}$和$\text{BPTT}$。
• 如果之后网络在开环 ($\text{open-loop}$) 模式下使用，即网络输出（或输出分布的样本）反馈作为输入，那么$\text{Teacher Forcing}$的缺点就会出现。
  • 在这种情况下，训练期间该网络看到的输入与测试时看到的会有很大的不同。
  • 减轻此问题的一种方法是同时使用$\text{Teacher Forcing}$和自由运行的输入进行训练，例如在展开循环的输出到输入路径上预测几个步骤的正确目标值。
  • 通过这种方式，网络可以学会考虑在训练时没有接触到的输入条件（如自由运行模式下，自身生成自身），以及将状态映射回使网络几步之后生成正确输出的状态。
  • 另外一种方式 ($\text{Bengio et al., 2015b}$) 是通过随意选择生成值或真实的数据值作为输入以减小训练时和测试时看到的输入之间的差别。
  • 这种方法利用了课程学习策略，逐步使用更多生成值作为输入。

计算循环神经网络的梯度

• 计算循环神经网络的梯度是容易的。
• 我们可以简单地将深度前馈网络之反向传播和其他的微分算法篇 - 一般化的反向传播中的推广反向传播算法应用于展开的计算图，而不需要特殊化的算法。
• 由反向传播计算得到的梯度，并结合任何通用的基于梯度的技术就可以训练$\text{RNN}$。
• 为了获得$\text{BPTT}$算法行为的一些直观理解，我们举例说明如何通过BPTT计算上述$\text{RNN}$公式（公式1和公式5）的梯度。

  • 计算图的节点包括参数 $\mathbf{U}$，$\mathbf{V}$，$\mathbf{W}$，$\mathbf{b}$ 和$\mathbf{c}$，以及以 $t$ 为索引的顺序节点 ${\mathbf{x}}^{(t)}$，${\mathbf{h}}^{(t)}$，${\mathbf{o}}^{(t)}$ 和 $L^{(t)}$。

  • 对于每一个节点 $\text{N}$，我们需要基于 $\text{N}$ 后面的节点的梯度，递归地计算梯度 ${\nabla }_{\text{N}}L$。

  • 我们从紧接着最终损失的节点开始递归：$\frac{\partial L}{\partial L^{(t)}}=1$ $\text{—公式10}$

  • 在这个导数中，我们假设输出 ${\mathbf{o}}^{(t)}$ 作为$\text{softmax}$ 函数的参数，我们可以从$\text{softmax}$ 函数可以获得关于输出概率的向量 $\hat{\mathbf{y}}$。我们也假设损失是迄今为止给定了输入后的真实目标 $y^{(t)}$ 的负对数似然。对于所有 $i$，$t$，关于时间步 $t$ 输出的梯度 ${\nabla }_{{\mathbf{o}}^{(t)}}L$如下：
    $({\nabla }_{{\mathbf{o}}^{(t)}}L{)}_i=\frac{\partial L}{\partial o_i^{(t)}}=\frac{\partial L}{\partial L^{(t)}}\frac{\partial L^{(t)}}{\partial o_i^{(t)}}={\hat{y}}_i^{(t)}-1_{i,y^{(t)}}$ $\text{—公式11}$

  • 我们从序列的末尾开始，反向进行计算。在最后的时间步 $\tau$，${\mathbf{h}}^{(\tau )}$ 只有 ${\mathbf{o}}^{\tau }$ 作为后续节点，因此这个梯度很简单：
    ${\nabla }_{{\mathbf{h}}^{(\tau )}}L={\mathbf{V}}^{\top }{\nabla }_{{\mathbf{o}}^{(\tau )}}L$ $\text{—公式12}$

  • 然后，我们可以从时刻 $t=\tau -1$ 到 $t=1$ 反向迭代，通过时间反向传播梯度，注意${\mathbf{h}}^{(t)}(t<\tau )$ 同时具有 ${\mathbf{o}}^{(t)}$ 和 ${\mathbf{h}}^{(t+1)}$ 两个后续节点。因此，它的梯度由下式计算：
    $\{\begin{array}{l}\begin{array}{rlr}{\nabla }_{{\mathbf{h}}^{(t)}}L& ={\left(\frac{\partial {\mathbf{h}}^{(t+1)}}{\partial {\mathbf{h}}^{(t)}}\right)}^{\top }({\nabla }_{{\mathbf{h}}^{(t+1)}}L)+(\frac{\partial {\mathbf{o}}^{(t)}}{\partial {\mathbf{h}}^{(t)}}{)}^{\top }({\nabla }_{{\mathbf{o}}^{(t)}}L)& \text{—公式13}\\ & ={\mathbf{W}}^{\top }({\nabla }_{{\mathbf{h}}^{(t+1)}}L)\text{diag}\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right)+{\mathbf{V}}^{\top }({\nabla }_{{\mathbf{o}}^{(t)}}L)& \text{—公式14}\end{array}\end{array}$ $\text{—公式13}$ $\text{—公式14}$

    • 其中$\text{diag}\left(1-({\mathbf{h}}^{(t+1)}{)}^2\right)$表示包含元素$1-({\mathbf{h}}_i^{(t+1)}{)}^2$的对角矩阵。
    • 这是关于时刻$t+1$与隐藏单元$i$关联的双曲正切的$\text{Jacobian}$。

  • 一旦获得了计算图内部节点的梯度，我们就可以得到关于参数节点的梯度。

    • 因为参数在许多时间步共享，必须在表示这些变量的微积分操作时谨慎对待。
    • 我们希望实现的等式使用深度前馈网络之反向传播和其他的微分算法篇 - 一般化的反向传播中的 $\text{bprop}$ 方法计算计算图中单一边对梯度的贡献。
    • 然而微积分中的 ${\nabla }_{\mathbf{W}}f$ 算子，计算 $\mathbf{W}$ 对于 $f$ 的贡献时将计算图中的所有边都考虑进去了。
    • 为了消除这种歧义，我们定义只在 $t$ 时刻使用的虚拟变量 ${\mathbf{W}}^{(t)}$ 作为 $\mathbf{W}$ 的副本。
    • 然后，我们可以使用 ${\nabla }_{{\mathbf{W}}^{(t)}}$ 表示权重在时间步 $t$ 对梯度的贡献。

  • 使用这个表示，关于剩下参数的梯度可以由下式给出：
    $\{\begin{array}{l}\begin{array}{rlr}{\nabla }_{\mathbf{c}}L& =\sum _t{\left(\frac{\partial {\mathbf{o}}^{(t)}}{\partial \mathbf{c}}\right)}^{\top }{\nabla }_{{\mathbf{o}}^{(t)}}L=\sum _t{\nabla }_{{\mathbf{o}}^{(t)}}L& \text{—公式15}\\ {\nabla }_{\mathbf{b}}L& =\sum _t{\left(\frac{\partial {\mathbf{h}}^{(t)}}{\partial \mathbf{b}}\right)}^{\top }{\nabla }_{{\mathbf{h}}^{(t)}}L=\sum _t\text{diag}\left(1-({\mathbf{h}}^{(t)}{)}^2\right){\nabla }_{{\mathbf{h}}^{(t)}}L& \text{—公式16}\\ {\nabla }_{\mathbf{V}}L& =\sum _t\sum _i\left(\frac{\partial L}{\partial o_i^{(t)}}\right){\nabla }_{\mathbf{V}}{o}_i^{(t)}=\sum _t({\nabla }_{{\mathbf{o}}^{(t)}}L){\mathbf{h}}^{(t{)}^{\top }}& \text{—公式17}\\ {\nabla }_{\mathbf{W}}L& =\sum _t\sum _i\left(\frac{\partial L}{\partial h_i^{(t)}}\right){\nabla }_{{\mathbf{W}}^{(t)}}{h}_i^{(t)}& \text{—公式18}\\ & =\sum _t\text{diag}\left(1-({\mathbf{h}}^{(t)}{)}^2\right)({\nabla }_{{\mathbf{h}}^{(t)}}L){\mathbf{h}}^{(t-1{)}^{\top }}& \text{—公式19}\\ {\nabla }_{\mathbf{U}}L& =\sum _t\sum _i\left(\frac{\partial L}{\partial h_i^{(t)}}\right){\nabla }_{{\mathbf{U}}^{(t)}}{h}_i^{(t)}& \text{—公式20}\\ & =\sum _t\text{diag}\left(1-({\mathbf{h}}^{(t)}{)}^2\right)({\nabla }_{{\mathbf{h}}^{(t)}}L){\mathbf{x}}^{(t{)}^{\top }}& \text{—公式21}\end{array}\end{array}$

  • 因为计算图中定义的损失的任何参数都不是训练数据 ${\mathbf{x}}^{(t)}$ 的父节点，所以我们不需要计算关于它的梯度。

作为有向图模型的循环网络

• 目前为止，我们接触的循环网络例子中损失 $L^{(t)}$ 是训练目标 ${\mathbf{y}}^{(t)}$ 和输出 ${\mathbf{o}}^{(t)}$ 之间的交叉熵。
  • 与前馈网络类似，原则上循环网络几乎可以使用任何损失。
  • 但必须根据任务来选择损失。
  • 如前馈网络，我们通常希望将RNN的输出解释为一个概率分布，并且我们通常使用与分布相关联的交叉熵来定义损失。
  • 均方误差是与单位高斯分布的输出相关联的交叉熵损失，例如前馈网络中所使用的。
• 当我们使用一个预测性对数似然的训练目标，如（公式5），我们将RNN训练为能够根据之前的输入估计下一个序列元素 ${\mathbf{y}}^{(t)}$ 的条件分布。这可能意味着，我们最大化对数似然：
  $\log p({\mathbf{y}}^{(t)}|{\mathbf{x}}^{(1)},\dots ,{\mathbf{x}}^{(t)})$ $\text{—公式22}$
• 或者，如果模型包括来自一个时间步的输出到下一个时间步的连接：
  $\log p({\mathbf{y}}^{(t)}|{\mathbf{x}}^{(1)},\dots ,{\mathbf{x}}^{(t)},{\mathbf{y}}^{(1)},\dots ,{\mathbf{y}}^{(t-1)})$ $\text{—公式23}$
• 将整个序列 $\mathbf{y}$ 的联合分布分解为一系列单步的概率预测是捕获关于整个序列完整联合分布的一种方法。
  • 当我们不把过去的 $\mathbf{y}$ 值反馈给下一步作为预测的条件时，那么有向图模型不包含任何从过去 ${\mathbf{y}}^{(i)}$ 到当前 ${\mathbf{y}}^{(t)}$ 的边。
  • 在这种情况下，输出 $\mathbf{y}$ 与给定的 $\mathbf{x}$ 序列是条件独立的。
  • 当我们反馈真实的 $\mathbf{y}$ 值（不是它们的预测值，而是真正观测到或生成的值）给网络时，那么有向图模型包含所有从过去 ${\mathbf{y}}^{(i)}$ 到当前 ${\mathbf{y}}^{(t)}$ 的边。
• 举一个简单的例子，让我们考虑对标量随机变量序列 Y = { y ( 1 ) , … , y ( τ ) } \mathbb{Y}=\{\text{y}^{(1)},\dots,\text{y}^{(\tau)}\} Y={y(1),…,y(τ)} 建模的$\text{RNN}$，也没有额外的输入 $\text{x}$。
  • 在时间步 $t$ 的输入仅仅是时间步 $t-1$ 的输出。
  • 该$\text{RNN}$定义了关于 $\text{y}$ 变量的有向图模型。我们使用链式法则（用于条件概率的概率与信息论篇 - 链式法则）参数化这些观察值的联合分布：
    $P(\mathbb{Y})=P({\text{y}}^{(1)},\dots ,{\text{y}}^{(\tau )})=\prod _{t=1}^{\tau }P({\text{y}}^{(t)}|{\text{y}}^{(t-1)},{\text{y}}^{(t-2)},\dots ,{\text{y}}^{(1)})$ $\text{—公式24}$
  • 其中当 $t=1$ 时竖杠右侧显然为空。因此，根据这样一个模型，一组值 { y ( 1 ) , … , y ( τ ) } \{\text{y}^{(1)},\dots,\text{y}^{(\tau)}\} {y(1),…,y(τ)}的负对数似然为：
    $L=\sum _t{L}^{(t)}$ $\text{—公式25}$
  • 其中，$L^{(t)}=-\log P({\text{y}}^{(t)}=y^{(t)}|y^{(t-1)},y^{(t-2)},\dots ,y^{(1)})$ $\text{—公式26}$
• 图模型中的边表示哪些变量直接依赖于其他变量。
  • 许多图模型的目标是省略不存在强相互作用的边以实现统计和计算的效率。
  • 例如，我们通常可以作$\text{Markov}$假设，即图模型应该只包含从 { y ( t − k ) , … , y ( t − 1 ) } \{\text{y}^{(t-k)},\dots,\text{y}^{(t-1)}\} {y(t−k),…,y(t−1)} 到 ${\text{y}}^{(t)}$ 的边，而不是包含整个过去历史的边。
  • 然而，在一些情况下，我们认为整个过去的输入会对序列的下一个元素有一定影响。
  • 当我们认为 ${\text{y}}^{(t)}$ 的分布可能取决于遥远过去 (在某种程度) 的 ${\text{y}}^{(i)}$ 的值，且无法通过 ${\text{y}}^{(t-1)}$ 捕获 ${\text{y}}^{(i)}$ 的影响时，$\text{RNN}$将会很有用。
• 解释$\text{RNN}$作为图模型的一种方法是将$\text{RNN}$视为定义一个结构为完全图的图模型，且能够表示任何一对 $\text{y}$ 值之间的直接联系。
  • 图例5是关于 $\text{y}$ 值且具有完全图结构的图模型。
  • 该$\text{RNN}$完全图的解释基于排除并忽略模型中的隐藏单元 ${\mathbf{h}}^{(t)}$。
• 更有趣的是，将隐藏单元 ${\mathbf{h}}^{(t)}$ 视为随机变量，从而产生$\text{RNN}$的$图模型结{构}^1$。
  • 在图模型中包括隐藏单元预示$\text{RNN}$能对观测的联合分布提供非常有效的参数化。
  • 假设我们用表格表示法来表示离散值上任意的联合分布，即对每个值可能的赋值分配一个单独条目的数组，该条目表示发生该赋值的概率。
  • 如果 $y$ 可以取 $k$ 个不同的值，表格表示法将有 $\mathrm{O}(k^{\tau })$ 个参数。对比$\text{RNN}$，由于参数共享， $\text{RNN}$的参数数目为 $\mathrm{O}(1)$且是序列长度的函数。
  • 我们可以调节$\text{RNN}$的参数数量来控制模型容量，但不用被迫与序列长度成比例。
  • （展开计算图篇 - 公式5）展示了所述$\text{RNN}$通过循环应用相同的函数 $f$ 以及在每个时间步的相同参数 $\mathbf{\theta }$，有效地参数化的变量之间的长期联系。
  • 图例6说明了这个图模型的解释。
  • 在图模型中结合 ${\mathbf{h}}^{(t)}$ 节点可以用作过去和未来之间的中间量，从而将它们解耦。遥远过去的变量 $y^{(i)}$ 可以通过其对 $\mathbf{h}$ 的影响来影响变量 $y^{(t)}$。
  • 该图的结构表明可以在时间步使用相同的条件概率分布有效地参数化模型，并且当观察到全部变量时，可以高效地评估联合分配给所有变量的概率。
• 即便使用高效参数化的图模型，某些操作在计算上仍然具有挑战性。例如，难以预测序列中缺少的值。
• 循环网络为减少的参数数目付出的代价是优化参数可能变得困难。
• 在循环网络中使用的参数共享依赖于相同参数可用于不同时间步的假设。
  • 等效地，假设给定时刻 $t$ 的变量后，时刻 $t+1$ 变量的条件概率分布是平稳的 ($\text{stationary}$)，这意味着之前的时间步与下个时间步之间的关系并不依赖于 $t$。
  • 原则上，可以使用 $t$作为每个时间步的额外输入，并让学习器在发现任何时间依赖性的同时，在不同时间步之间尽可能多地共享。
  • 相比在每个 $t$ 使用不同的条件概率分布已经好很多了，但网络将必须在面对新 $t$ 时进行推断。
• 为了完整描述将$\text{RNN}$作为图模型的观点，我们必须描述如何从模型采样。
  • 我们需要执行的主要操作是简单地从每一时间步的条件分布采样。
  • 然而，这会导致额外的复杂性。
  • $\text{RNN}$必须有某种机制来确定序列的长度。
  • 这可以通过多种方式实现。
• 在当输出是从词汇表获取的符号的情况下，我们可以添加一个对应于序列末端的特殊符号 ($\text{Schmidhuber, 2012}$)。当产生该符号时，采样过程停止。在训练集中，我们将该符号作为序列的一个额外成员，即紧跟每个训练样本 ${\mathbf{x}}^{(\tau )}$之后。
• 另一种选择是在模型中引入一个额外的$\text{Bernoulli}$输出，表示在每个时间步决定继续或停止。
  • 相比向词汇表增加一个额外符号，这种方法更普遍，因为它适用于任何$\text{RNN}$，而不仅仅是输出符号序列的$\text{RNN}$。
  • 例如，它可以应用于一个产生实数序列的$\text{RNN}$。
  • 新的输出单元通常使用$\text{sigmoid}$单元，并通过交叉熵训练。
  • 在这种方法中，$\text{sigmoid}$被训练为最大化正确预测的对数似然，即在每个时间步序列决定结束或继续。
• 确定序列长度 $\tau$ 的另一种方法是将一个额外的输出添加到模型并预测整数 $\tau$ 本身。
  • 模型可以采出 $\tau$ 的值，然后采 $\tau$ 步有价值的数据。
  • 这种方法需要在每个时间步的循环更新中增加一个额外输入，使得循环更新知道它是否是靠近所产生序列的末尾。
  • 这种额外的输入可以是 $\tau$ 的值，也可以是 $\tau -t$ 即剩下时间步的数量。
  • 如果没有这个额外的输入， $\text{RNN}$可能会产生突然结束序列，如一个句子在最终完整前结束。
  • 此方法基于分解：
    $P({\mathbf{x}}^{(1)},\dots ,{\mathbf{x}}^{(\tau )})=P(\tau )P({\mathbf{x}}^{(1)},\dots ,{\mathbf{x}}^{(\tau )}|\tau )$ $\text{—公式27}$
    直接预测 $\tau$ 的例子见$\text{Goodfellow et al. (2014d)}$。

---

注1：给定这些变量的父变量，其条件分布是确定性的。尽管设计具有这样确定性的隐藏单元的图模型是很少见的，但这是完全合理的。

---

基于上下文的RNN序列建模

• 作为有向图模型的循环网络描述了没有输入 $\mathbf{x}$ 时，关于随机变量序列 $y^{(t)}$ 的$\text{RNN}$如何对应于有向图模型。
  • 当然，如式(10.8)所示的RNN包含一个输入序列 ${\mathbf{x}}^{(1)},{\mathbf{x}}^{(2)},\dots ,{\mathbf{x}}^{(\tau )}$。
  • 一般情况下，$\text{RNN}$允许将图模型的观点扩展到不仅代表 $y$ 变量的联合分布也能表示给定 $\mathbf{x}$ 后$y$ 条件分布。
  • 如在深度前馈网络之基于梯度的学习篇 - 用最大拟然学习条件分布的前馈网络情形中所讨论的，任何代表变量 $P(\mathbf{y};\mathbf{\theta })$ 的模型都能被解释为代表条件分布 $P(\mathbf{y}|\mathbf{\omega })$ 的模型，其中 $\mathbf{\omega }=\mathbf{\theta }$。
  • 我们能像之前一样使用 $P(\mathbf{y}|\mathbf{\omega })$ 代表分布 $P(\mathbf{y}|\mathbf{x})$ 来扩展这样的模型，但要令 $\mathbf{\omega }$ 是关于 $\mathbf{x}$ 的函数。
  • 在$\text{RNN}$的情况，这可以通过不同的方式来实现。此处，我们回顾最常见和最明显的选择。
• 之前，我们已经讨论了将 $t=1,\dots ,\tau$的向量 ${\mathbf{x}}^{(t)}$ 序列作为输入的$\text{RNN}$。另一种选择是只使用单个向量 $\mathbf{x}$ 作为输入。当 $\mathbf{x}$ 是一个固定大小的向量，我们可以简单地将其看作产生 $\mathbf{y}$ 序列$\text{RNN}$的额外输入。将额外输入提供到$\text{RNN}$的一些常见方法是：
  • 在每个时刻作为一个额外输入，或
  • 作为初始状态 ${\mathbf{h}}^{(0)}$，或
  • 结合两种方式。
• 第一个也是最常用的方法如图例7所示。
  • 输入 $\mathbf{x}$ 和每个隐藏单元向量 ${\mathbf{h}}^{(t)}$ 之间的相互作用通过新引入的权重矩阵 $\mathbf{R}$ 参数化的，这是只包含 $y$ 序列的模型所没有的。
  • 同样的乘积 ${\mathbf{x}}^{\top }\mathbf{R}$ 在每个时间步作为隐藏单元的一个额外输入。
  • 我们可以认为 $\mathbf{x}$的选择（确定 ${\mathbf{x}}^{\top }\mathbf{R}$ 值），是有效地用于每个隐藏单元的一个新偏置参数。
  • 权重与输入保持独立。
  • 我们可以把这种模型视为采用非条件模型的 $\mathbf{\theta }$ 并使之成为 $\mathbf{\omega }$，其中$\mathbf{\omega }$内的偏置参数现在是输入的函数。
• $\text{RNN}$可以接收向量序列 ${\mathbf{x}}^{(t)}$ 作为输入，而不是仅接收单个向量 $\mathbf{x}$ 作为输入。(公式1)描述的$\text{RNN}$对应条件分布 $P({\mathbf{y}}^{(1)},\dots ,{\mathbf{y}}^{(\tau )})$，并在条件独立的假设下这个分布分解为：
  $\prod _{t}P({\mathbf{y}}^{(t)}|{\mathbf{x}}^{(1)},\dots ,{\mathbf{x}}^{(t)})$ $\text{—公式28}$
• 为去掉条件独立的假设，我们可以在时刻 $t$ 的输出到时刻 $t+1$ 的隐藏单元添加连接，如图例8所示。该模型就可以代表关于 $\mathbf{y}$ 序列的任意概率分布。这种给定一个序列表示另一个序列分布的模型的还是有一个限制，就是这两个序列的长度必须是相同的。我们将在后续篇章：基于编码/解码的序列到序列架构中描述如何消除这种限制。

---

• 图例1：计算循环网络(将 $\mathbf{x}$ 值的输入序列映射到输出值 $o$ 的对应序列) 训练损失的计算图。

  • 计算循环网络(将 $\mathbf{x}$ 值的输入序列映射到输出值 $o$ 的对应序列) 训练损失的计算图。
    

  • 说明：

    • 损失$L$ 衡量每个 $o$ 与相应的训练目标 $\mathbf{y}$ 的距离。
    • 当使用 $\text{softmax}$ 输出时，我们假设 $o$ 是未归一化的对数概率。
    • 损失 $L$ 内部计算 $\hat{\mathbf{y}}=\text{softmax}(\mathbf{x})$，并将其与目标 $\mathbf{y}$ 比较。
    • $\text{RNN}$输入到隐藏的连接由权重矩阵 $\mathbf{U}$ 参数化，隐藏到隐藏的循环连接由权重矩阵 $\mathbf{W}$ 参数化以及隐藏到输出的连接由权重矩阵 $\mathbf{V}$ 参数化。
    • 公式1定义了该模型中的前向传播。
    • 左图：使用循环连接绘制的$\text{RNN}$和它的损失。
    • 右图：同一网络被视为展开的计算图，其中每个节点现在与一个特定的时间实例相关联。

---

• 图例2：此类$\text{RNN}$的唯一循环是从输出到隐藏层的反馈连接。

  • 此类$\text{RNN}$的唯一循环是从输出到隐藏层的反馈连接。
    

  • 说明：

    • 在每个时间步 $t$，输入为 ${\mathbf{x}}_t$， 隐藏层激活为 ${\mathbf{h}}^{(t)}$，输出为 ${\mathbf{o}}^{(t)}$，目标为 ${\mathbf{y}}^{(t)}$，损失为 $L^{(t)}$。
    • 左图：回路原理图。
    • 右图：展开的计算图。
    • 这样的$\text{RNN}$没有图例1表示的 $\text{RNN}$ 那样强大（只能表示更小的函数集合）。
    • 图例1中的$\text{RNN}$可以选择将其想要的关于过去的任何信息放入隐藏表示 $\mathbf{h}$ 中并且将 $\mathbf{h}$ 传播到未来。
    • 该图中的$\text{RNN}$被训练为将特定输出值放入 $\mathbf{o}$ 中，并且 $\mathbf{o}$ 是允许传播到未来的唯一信息。
    • 此处没有从 $\mathbf{h}$ 前向传播的直接连接。
    • 之前的 $\mathbf{h}$ 仅通过产生的预测间接地连接到当前。
    • $\mathbf{o}$ 通常缺乏过去的重要信息，除非它非常高维且内容丰富。
    • 这使得该图中的$\text{RNN}$不那么强大，但是它更容易训练，因为每个时间步可以与其他时间步分离训练，允许训练期间更多的并行化，如Teacher Forcing和输出循环网络所述。

---

• 图例3：关于时间展开的循环神经网络，在序列结束时具有单个输出。

  • 关于时间展开的循环神经网络，在序列结束时具有单个输出。
    

  • 说明：

    • 这样的网络可以用于概括序列并产生用于进一步处理的固定大小的表示。
    • 在结束处可能存在目标（如此处所示），或者通过更下游模块的反向传播来获得输出 ${\mathbf{o}}^{(t)}$ 上的梯度。

---

• 图例4：$\text{Teacher Forcing}$的示意图。

  • $\text{Teacher Forcing}$的示意图。
    

  • 说明：

    • $\text{Teacher Forcing}$是一种训练技术，适用于输出与下一时间步的隐藏状态存在连接的$\text{RNN}$。
    • 左图：训练时，我们将训练集中正确的输出 ${\mathbf{y}}^{(t)}$ 反馈到 ${\mathbf{h}}^{(t+1)}$。
    • 右图：当模型部署后，真正的输出通常是未知的。在这种情况下，我们用模型的输出 ${\mathbf{o}}^{(t)}$ 近似正确的输出${\mathbf{y}}^{(t)}$，并反馈回模型。

---

• 图例5：序列$y^{(1)},y^{(2)},\dots ,y^{(t)},\dots$ 的全连接图模型。

  • 序列$y^{(1)},y^{(2)},\dots ,y^{(t)},\dots$ 的全连接图模型。
    

  • 说明：

    • 给定先前的值，每个过去的观察值 $y^{(i)}$ 可以影响一些 $y^{(t)}(t>i)$ 的条件分布。
    • 当序列中每个元素的输入和参数的数目越来越多，根据此图直接参数化图模型（如展开计算图篇 - 公式6中）可能是非常低效的。
    • $\text{RNN}$可以通过高效的参数化获得相同的全连接，如图例6所示。

---

• 图例6：在$\text{RNN}$图模型中引入状态变量的示意图。

  • 在$\text{RNN}$图模型中引入状态变量的示意图。
    

  • 说明：

    • 尽管它是输入的确定性函数，但它有助于我们根据式(展开计算图篇 - 公式5)获得非常高效的参数化。
    • 序列中的每个阶段（对于 ${\mathbf{h}}^{(t)}$ 和 ${\mathbf{y}}^{(t)}$）使用相同的结构（每个节点具有相同数量的输入），并且可以与其他阶段共享相同的参数。

---

• 图例7：将固定长度的向量 $\mathbf{x}$ 映射到序列 $\mathbf{Y}$ 上分布的$\text{RNN}$。

  • 将固定长度的向量 $\mathbf{x}$ 映射到序列 $\mathbf{Y}$ 上分布的$\text{RNN}$。
    

  • 说明：

    • 这类$\text{RNN}$适用于很多任务如图注，其中单个图像作为模型的输入，然后产生描述图像的词序列。
    • 观察到的输出序列的每个元素${\mathbf{y}}^{(t)}$同时用作输入（对于当前时间步）和训练期间的目标（对于前一时间步）。

---

• 图例8：将可变长度的 $\mathbf{x}$ 值序列映射到相同长度的 $\mathbf{y}$ 值序列上分布的条件循环神经网络。

  • 将可变长度的 $\mathbf{x}$ 值序列映射到相同长度的 $\mathbf{y}$ 值序列上分布的条件循环神经网络。
    

  • 说明：

    • 对比图例1，此$\text{RNN}$包含从前一个输出到当前状态的连接。
    • 这些连接允许此$\text{RNN}$对给定 $\mathbf{x}$ 的序列后相同长度的 $\mathbf{y}$ 序列上的任意分布建模。
    • 图例1的$\text{RNN}$仅能表示在给定 $\mathbf{x}$ 值的情况下， $\mathbf{y}$ 值彼此条件独立的分布。

总结

循环神经网络以其强大的序列处理能力，在序列建模领域展现出了卓越的性能。其独特的循环结构赋予了网络记忆能力，使得网络能够在处理序列数据时保持对历史的敏感性和连续性。通过不断的学习和训练，$\text{RNN}$能够学习到序列数据中的复杂模式和规律，为自然语言处理、时间序列分析等领域带来了革命性的变化。然而，$\text{RNN}$也面临着梯度消失或爆炸等问题，限制了其在处理长序列时的性能。随着研究的深入和技术的发展，新的网络架构和优化方法不断涌现，为$\text{RNN}$的进一步应用提供了更加广阔的空间。

往期内容回顾

序列建模之循环和递归网络 - 展开计算图篇
深度网络现代实践 - 深度前馈网络之反向传播和其他的微分算法篇
深度网络现代实践 - 深度前馈网络之反向传播和其他的微分算法篇-续
应用数学与机器学习基础 - 概率与信息论篇
深度网络现代实践 - 深度前馈网络之基于梯度的学习篇