反向传播算法
深度学习三巨头发表反向传播论文
https://www.cs.toronto.edu/~hinton/absps/naturebp.pdf
正向传播网络
前一层的输出作为后一层的输入的逻辑结构,每一层神经元仅与下一层的神经元全连接,通过增加神经网络的层数虽然可为其提供更大的灵活性,让网络具有更强的表征能力,也就是说,能解决的问题更多,但随之而来的数量庞大的网络参数的训练,一直是制约多层神经网络发展的一个重要瓶颈。
反向传播
反向传播(Backpropagation algorithm)全称“误差反向传播”,是在深度神经网络中,根据输出层输出值,来反向调整隐藏层权重的一种方法。
为什么需要反向传播
• 为什么不直接使用梯度下降而使用反向传播方式更新权重呢?
• 梯度下降应用于有明确求导函数的情况,或者可以求出误差的情况(比如 线性回归),我们可以把它看做没有隐藏层的网络。但对于多个隐藏层的 神经网络,输出层可以直接求出误差来更新参数,但隐藏层的误差是不存 在的,因此不能对它直接应用梯度下降,而是先将误差反向传播至隐藏层, 然后再应用梯度下降。
反向传播计算
实例