文章目录
- 1 残差网络(ResNet)
- 1.1 ResNet简介
- 1.2 ResNet结构
- 2 模型应用
- 2.1 加载数据
- 2.2 构建模型SimpleResNet
- 2.2.1 simple_resnet_block
- 2.2.2 SimpleResNet
- 2.2.3 实例化模型
- 2.2.4 模型训练
- 2.2.5 模型预测
- 2.3 构建模型ResNet18
- 2.3.1 residual_block
- 2.3.2 ResNet18
- 2.3.3 训练模型
- 3 参考附录
1 残差网络(ResNet)
1.1 ResNet简介
随着深度学习的快速发展，深度神经网络在多个领域取得了显著的成功。
然而，深度神经网络的训练面临着梯度消失和模型退化等问题，这限制了网络的深度和性能。
为了解决这些问题，残差网络（ResNet）被提出。
模型原理：
ResNet通过引入“残差块”来解决深度神经网络中的梯度消失和模型退化问题。残差块由一个“跳跃连接”和一个或多个非线性层组成，使得梯度可以直接从后面的层反向传播到前面的层，从而更好地训练深度神经网络。通过这种方式，ResNet能够构建非常深的网络结构，并在多个任务上取得了优异的性能。
模型训练：
ResNet的训练通常使用反向传播算法和优化算法（如随机梯度下降）。在训练过程中，通过计算损失函数关于权重的梯度，并使用优化算法更新权重，以最小化损失函数。此外，为了加速训练过程和提高模型的泛化能力，还可以采用正则化技术、集成学习
