一句话归纳:
1)词向量与句子向量的循环神经网络:
- x(i)为词向量。
- h(i)为含前i个词信息的向量。
- h(t)为句向量。
2)循环神经网络的局部。
- 每个子网络都是标准的全连接神经网络。
3)对句向量增加全连接层和激活函数。
- 每个子网络中的参数w、u、v都是一样的,相当于同一个神经网络。
4)不止最后一个子网络可以添加全连接层,每个子网络都可以添加全连接层。
5)用RNN做汉语词句子分词
- B:词首字,E:词属字, M :词中字,S:单字词。
- 子网络中输出为4个神经元,分别为B、E、M、S的概率。
6)用RNN做看图说话:
- 将图像矩阵输入神经网络得到一个向量。
- “图像-内容描述”对为训练样本。
7)双向循环神经网络。
8)序列到序列的循环神经网络。
- 从序列到向量,再由向量到序列。
- 可用于机器翻译。