一、序列模型的例子

二、数学符号定义

X^{(i)<t>}：训练样本 i 的输入序列的第 t 个元素。

T_{X}^{i}：训练样本 i 的输入序列的长度。

Y^{(i)<t>}：训练样本 i 的输出序列的第 t 个元素。

T_{Y}^{i}：训练样本 i 的输出序列的长度。

三、举例：识别人名

【输入和输出序列长度相同】

1、数据表示

准备 Vocabulary/Dictionary

将所有要用到的单词放在一起，做成清单 —— 将每个单词用一位 one-hot 表示

遇见没见过的单词，常见新标记 Unknown Word，使用 <UNK> 来表示

2. 标准神经网络存在的问题

• 对于不同的例子，输入和输出会有不同的长度

• 不共享从文本的不同位置学到的特征

3. 循环神经网络 (RNN)

(1) 构建 RNN

循环神经网络从左向右扫描数据，每一步所用的参数是共享的

缺点：只使用当前输入之前的序列信息来做预测 —— 解决方法：双向循环神经网络(BRNN)

(2) 前向传播

损失函数：

用向量简化符号：

(3)通过时间的反向传播

四、不同类型的循环神经网络

多对多型（如机器翻译）、多对一型、一对一型（标准的小型神经网络）、一对多型、注意力结构

如音乐生成：、机器翻译：

五、RNN 构建语言模型

1. 定义语言模型

用 y^{<i>} 来表示输入的文本序列 x^{<i>} = y^{<i-1>}

训练集: 大量的英文文本 语料库 (large corpus)

句子结尾：增加额外的标记 EOS (可选)

未知词：增加额外的标记 UNK

2. 建立 RNN 模型

通过前面输入的单词，预测下一个输出单词的概率。

• 定义代价函数 (softmax)：

  L (\overline{y}^{<t>}, y^{<t>}) = -\sum{y_{i}^{<t>} log\overline{y}_{i}^{<t>}}​

  L = \sum{L^{<t>} (\overline{y}^{<t>}, y^{<t>})}

• 给定新句子输出的概率：

  P(y^{<1>}, y^{<2>},...,y^{<n>}) = P(y^{<1>})P(y^{<2>}|y^{<1>})...P(y^{<n>}|y^{<1>}y^{<2>}...y^{<n-1>})​

3. 新序列采样

序列模型：模拟了任意特定单词序列的概率

新序列采样：对上述概率分布进行采样，根据训练好的模型，生成新的单词序列/随机的句子。

绝大多数使用基于词汇的语言模型，基于字母的语言模型将得到太长的序列，消耗算力。

六、双向循环神经网络 (BRNN)

两个前向传播：一个从前往后、一个从后往前 —— 既可知道以前的信息，也可以知道未来的信息

​​​​​​​

基本单元可以是标准 RNN 单元，也可以是 GRU​​​​​​​ 单元或 LSTM 单元

常见：带有 LSTM 单元的双向 RNN 模型

缺点：需要完整的数据序列

七、深层循环神经网络 (DRNNs)

a^{[l]<t>}：第 l 层 t 时刻的激活值

​​​​​​​

基本单元可以是标准 RNN 单元，也可以是 GRU​​​​​​​​​​​​​​ 单元或 LSTM 单元