系列文章目录

---

---

循环神经网络

使用循环神经网络的语言模型

输入“你”，更新隐变量，输出“好”。

困惑度（perplexity）

语言模型说白了，是个分类模型，我的输出是对下一个词的预测，假设一共有m个词，也就是m个类的分类问题，对于分类问题，当然可以使用交叉熵来做。

梯度剪裁

对于长度为$T$的序列，我们在迭代中计算这$T$个时间步上的梯度，将会在反向传播过程中产生长度为$\mathcal{O}(T)$的矩阵乘法链，当$T$较大时，它可能导致数值不稳定。
一个流行的替代方案是通过将梯度$\mathbf{g}$投影回给定半径（例如$\theta$）的球来裁剪梯度$\mathbf{g}$。
如下式：

$$\mathbf{g}\leftarrow \min \left(1,\frac{\theta }{\Vert \mathbf{g}\Vert }\right)\mathbf{g}.$$

通过这样做，我们知道梯度范数永远不会超过$\theta$，并且更新后的梯度完全与$\mathbf{g}$的原始方向对齐。