本文介绍基于L1正则化的剪枝原理,并以VGG网络进行实战说明。将从零详细介绍模型训练、稀疏化、剪枝、finetune
的全过程,提供详细的源码及说明,有助于对剪枝的熟练掌握,后续也会对yolov8进行剪枝的介绍。
论文: Learning Efficient Convolutional Networks through Network Slimming
作者对
VGG、DenseNet、ResNet
进行剪枝,发现模型剪枝50%
,模型的精度反而比没有剪枝(BaseLine)的更高
,并且剪枝超过60%后还能维持跟BaseLine模型差不多的精度。
本系列博文的安排如下:
1 Prerequisites 前置知识
- CIFAR10 数据集
- 简介
- dataset, dataloader
- VGG Network
- 论文简介
- 模型结构
- 神经网络模型搭建
- Batch Normalize
- 论文简介
- 具体实现