目录

一、经典神经网络出现的时间线​编辑

二、LeNet

三、AlexNet

四、VGGNet

五、InceptionNet

六、ResNet

总结：

---

一、经典神经网络出现的时间线

二、LeNet

背景：LeNet由Yann LeCun于1998年提出，卷积网络开篇之作。

解释：有一个6*5*5和16*5*5的卷积核，分别执行了CBAPD ,可以看出比如B（归一化）,D(省略)都没有，不是因为没有设置，而是当时还没有发现

三、AlexNet

背景：AlexNet网络诞生于2012年，当年ImageNet竞赛的冠军，Top5错误率为16.4%

 解释：有5个的卷积核，分别执行了CBAPD ,可以看出比如B（没有归一化）,但是相对于LeNet多了D（省略）

四、VGGNet

背景：VGGNet诞生于2014年，当年ImageNet竞赛的亚军，Top5错误率减小到7.3%

好处： 解释：有10的卷积核，分别执行了CBAPD ,可以看出比如B（有归一化）和了D（有省略）都有了

五、InceptionNet

背景：InceptionNet诞生于2014年，当年ImageNet竞赛冠军，Top5错误率为6.67%

解释：用到了不同的卷积核，不再保留单一的样子，卷积核与上一个卷积核有一定的联系，一个卷积核的输出作为另一个卷积核的输入

有7个不同的卷积核，InceptionNet与GoogLeNet差不多

六、ResNet

背景：ResNet诞生于2015年，当年ImageNet竞赛冠军，Top5错误率为3.57%

解释：发现前几个Net网络准确率提高了，都伴随着层的提高，就测试，发现不是层高就是好的，会出现过拟合或者lose失效和梯度消失的情况

观念：通过层与层之间的联系，是的曾与曾之间保持联系

 解释：曾与曾是直接相加的关系，没有输入输出的关系，但是相加有前提，那就是必须格式一样，如果格式不一样那么就要进行转变

总结：

• 本文主要借鉴：mooc曹建老师的《人工智能实践：Tensorflow笔记》
• 每一个网络都是在增加层或者改变卷积核的大小，损失函数，优化器等等
• 目的都是为了反向传播的时候和特征提取的时候更加精准有效
• ResNet还需还有ResNet-50等等