神经元模型

上述定义的简单单元即为神经元模型。

多层网络

误差逆传播算法

• 标准BP算法：参数更新非常频繁，可能出现抵消现象。
• 积累BP算法：下降到一定程度上，进行下一步会非常缓慢。

过拟合

• 早停：划分训练集和验证集，若训练集误差降低而验证集升高则停止训练。
• 正则化：在误差目标函数中加入一个用于描述网络复杂度的部分，$E=\lambda \frac{1}{m}{\sum }_{k=1}^m{E}_k+(1-\lambda ){\sum }_i{w}_i^2$

全局最小与局部极小

• 局部极小解：是参数空间的某个点，其邻域点的误差函数值均不小于该点的误差函数值，可能存在多个。
• 全局极小解：是指参数空间中所有点的误差函数值均不小于该点的误差函数值，只存在一个。

如何跳出局部极小值点？

• 以多组不同参数值初始化多个神经网络，取误差最小的解。
• 使用模拟退火，在每一步都有一定概率接受比当前解更差的算法。
• 使用随机梯度下，即便陷入局部极小点，它计算出来的梯度仍然可能不为0。