目录
四层神经网络,反向传播计算过程
网络结构
前向传播
损失函数
反向传播
1. 计算输出层到隐藏层 2 的梯度
2. 计算隐藏层 2 到隐藏层 1 的梯度
3. 计算输入层到隐藏层 1 的梯度
梯度下降更新
四层神经网络,反向传播计算过程
在四层神经网络中,使用均方差损失函数进行反向传播计算是一个常见的训练过程。这里我们简单举例说明这个过程。
网络结构
假设我们有一个四层神经网络,包括:
- 输入层(Input Layer):有 n0 个神经元(不包括偏置项),接收输入数据 x。
- 隐藏层 1(Hidden Layer 1):有 n1 个神经元,激活函数为 f1(如ReLU或Sigmoid)。
- 隐藏层 2(Hidden Layer 2):有 n2 个神经元,激