前言
为了理解模型之间的改进关系、明确深度学习的发展目标、提高自身对模型的深度理解、贯彻爱与和平的理念。总之，我做了如下表格。
| 时间 | 重大突破 | 模型改进 | 详细信息 |
| 1847 | SGD | 随机梯度下降 | |
| 1995 | SVM | 支持向量机 | |
| 1982 | RNN | 循环神经网络，序列模型 | |
| 1986 | 反向传播 | ||
| 1997 | LSTM | 长短期时间记忆 | |
| 1998 | Lenet-5 | 首次 应用于手写识别 | |
| 2001 | 随机森林 | ||
| 2010 | ReLU | relu激活函数，解决梯度消失 | |
| 2012 | Dropout | 减少过拟合 | |
| AlexNet | 首次CNN分类， 首个深度卷积网络， 采用Relu Dropout | ||
| 2014 | GoogleNet（Inception v1） | 多分支串联网络 | |
| 自监督 | |||
| VGGNet | 证明网络深度的重要性 | ||
| R-CNN | 候选框+CNN分类 | ||
| 2015 | Batch Normalization | 加速、提高泛化 | |
| ResNet | 残差网络，避免梯度消失 | ||
| Fast RCNN | 引入ROI池化层 | ||
| Faster RCNN | 引入区域提议网络 | ||
| UNet | seg：编解码结构 | ||
| FCN | seg：全卷积网络 | ||
| DeepLab系列 | seg：多尺度特征融合、空洞卷积 | ||
| 2016 | YOLO系列 | ||
| SSD | 一阶段检测模型 | ||
| 2017 | Transformer | 自然语言处理 | |
| DenseNet | 稠密连接，加强特征传播和复用 | ||
| MobileNet | 轻量加速 | ||
| SENet | |||
| Mask RCNN | seg&det： | ||
| RetinaNet | |||
| SegNet | 池化搜索优化上采样 | ||
| PSPNet | seg：金字塔池化 | ||
| RefineNet | seg：多路径网络 | ||
| 2018 | CornerNet | ||
| ICNet | seg：上下文联系 | ||
| GatedSCNN | seg：门控机制聚合上下文信息 | ||
| BiseNet | seg：双分支，处理高低分辨率 | ||
| 2019 | EfficientNet | 多尺度特征融合和缩放 | |
| EfficientDet | |||
| CenterNet | |||
| 2020 | VIT | Transformer模型 | |
| 2021 | CLIP | 图文融合 | |
| 2023 | SAM | 分割大模型 |
