深度学习500问——Chapter04:经典网络解读(1)

文章目录

4.1 LeNet-5

4.1.1 模型介绍

4.1.2 模型结构

4.1.3 模型特性

4.2 AlexNet

4.2.1 模型介绍

4.2.2 模型结构

4.2.3 模型特性

4.3 ZFNet

4.3.1 模型介绍

4.3.2 模型结构

4.3.3 模型特性

4.4 Network in Network

4.4.1 模型介绍

4.4.2 模型结构

4.4.3 模型特性


4.1 LeNet-5

4.1.1 模型介绍

LeNet-5是由LeCun 提出的一种用于识别手写数字和机器印刷字符的卷积神经网络(Convolutional Nerual Network,CNN)[1],其命名来源于作者LeCun的名字,5则是其研究成果的代号,在LeNet-5之前还有LeNet-4和LeNet-1鲜为人知。LeNet-5阐述了图像中像素特征之间的相关性能够由参数共享的卷积操作所提取,同时使用卷积、下采样(池化)和非线性映射这样的组合结构,是当前流行的大多数深度图像识别网络的基础。

4.1.2 模型结构

图4.1 LeNet-5结构图

如图4.1所示,LeNet-5一共包含7层(输入层不作为网络结构),分别由2个卷积层、2个下采样层和3个连接层组成,网络的参数配置如表4.1所示,其中下采样层和全连接层的核尺寸分别代表采样范围核连接矩阵的尺寸(如卷积核尺寸中的)5\times5\times1/1,6表示核大小为5\times5\times1、步长为1且核个数为6的卷积核。

表4.1 LeNet-5网络参数配置

网络层输入尺寸核尺寸输出尺寸可训练参数量
卷积层C_132\times 32\times 15\times 5\times 1/1,628\times 28\times 6(5\times 5\times 1+ 1)\times 6
下采样层S_228\times 28\times 62\times 2/214\times 14\times 6(1+ 1)\times 6^*
卷积层C_314\times 14\times 65\times 5\times 6/1,1610\times 10\times 161516^*
下采样层S_410\times 10\times 162\times 2/25\times 5\times 16(1+ 1)\times 16
卷积层C_5^*5\times 5\times 165\times 5\times 16/1,1201\times 1\times 120(5\times 5\times 16+1)\times 120
全连接层F_61\times 1\times 120120\times 841\times 1\times 84(120+ 1)\times 84
输出层1\times 1\times 8484\times 101\times 1\times 10(84+1)\times 10
  • 在LeNet中,下采样操作核池化操作类似,但是在得到采样结果后会乘以一个系数和加上一个偏置项,所以下采样的参数个数是(1+1)\times6而不是零。
  • C_3卷积层可训练参数并未直接连接S_2中的所有特征图(Feature Map),而是采用如图4.2所示的采样特征特征方式进行连接(稀疏连接),生成的16个通道特征图中分别按照相邻3个特征图、相邻4个特征图、非相邻4个特征图和全部6个特征图进行映射,得到的参数个数计算公式为:6\times(25\times3+1)+6\times(25\times4+1)+3\times(25\times4+1)+1\times(25\times6+1)=1516,在原论文中解释了使用这种采样方式原因包含两点:限制了连接数不至于过大(当年的计算能力比较弱);强制限定不同特征图的组合可以使映射得到的特征图学习到不同的特征模式。

图4.2 S_2C_3之间的特征图稀疏连接

C_5卷积层在图4.1中显示为全连接层,原论文中解释这里实际采用的是卷积操作,只是刚好在5\times5卷积后尺寸被压缩为1\times1,输出结果看起来和全连接很相似。

4.1.3 模型特性

  • 卷积网络使用一个3层的序列组合:卷积、下采样(池化)、非线性映射(LeNet-5是最重要的特性,奠定了目前深层卷积网络的基础)
  • 使用卷积提取空间特征
  • 使用映射的空间均值进行下采样
  • 使用 tanh 或 sigmoid 进行非线性映射
  • 多层神经网络(MLP)作为最终端的分类器
  • 层间的稀疏连接矩阵以避免巨大的计算开销

4.2 AlexNet

4.2.1 模型介绍

AlexNet是由Alex Krizhevsky提出的首个应用于图像分类的深层卷积神经网络,该网络在2012年ILSVRC(ImageNet Large Scale Visual Recognition Competition)图像分类竞赛中以15.3%的top-5测试错误率赢得第一名[2]。AlexNet使用GPU代替CPU进行运算,使得在可接受的时间范围内模型结构能够更加复杂,它的出现证明了深层神经网络在复杂模型下的有效性,使CNN在计算机视觉中流行开来,直接或间接地引发了深度学习的热潮。

4.2.2 模型结构

图4.3 AlexNet网络结构图

如图4.3所示,除去下采样(池化层)和局部响应规范化操作(Local Responsible Normalization,LRN),AlexNet一共包含8层,前5层由卷积层组成,而剩下的3层为全连接层。网络结构分为上下两层,分别对应两个GPU的操作过程,除了中间某些层(C_3卷积层和F_{6-8}全连接层会有GPU间的交互),其他层两个GPU分别计算结果。最后一层全连接层的输出作为 softmax的输入,得到1000个图像分类标签对应的概率值。除去GPU并行结构的设计,AlexNet网络结构与LeNet十分相似,其网络参数配置如表4.2所示。

网络层输入尺寸核尺寸输出尺寸可训练参数量
卷积层C_1224\times 224\times 311\times 11\times 3/4,48(\times 2_{GPU})55\times 55\times 48(\times 2_{GPU})(11\times 11\times 3+1)\times 48\times 2
下采样层S_{max}^*55\times 55\times 48(\times 2_{GPU})3\times 3/2(\times 2_{GPU})27\times 27\times 48(\times 2_{GPU})0
卷积层C_227\times 27\times 48(\times 2_{GPU})5\times 5\times 48/1,128(\times 2_{GPU})27\times 27\times 128(\times 2_{GPU})(5\times 5\times 48+1)\times 128\times 2
下采样层S_{max}27\times 27\times 128(\times 2_{GPU})3\times 3/2(\times 2_{GPU})13\times 13\times 128(\times 2_{GPU})0
卷积层C_313\times 13\times 128(\times 2_{GPU})3\times 3\times 256/1,192(\times 2_{GPU})13\times 13\times 192(\times 2_{GPU})(3\times 3\times 256+1)\times 192\times 2
卷积层C_413\times 13\times 192(\times 2_{GPU})3\times 3\times 192/1,192(\times 2_{GPU})13\times 13\times 192(\times 2_{GPU})(3\times 3\times 192+1)\times 192\times 2
卷积层C_513\times 13\times 192(\times 2_{GPU})3\times 3\times 192/1,128(\times 2_{GPU})13\times 13\times 128(\times 2_{GPU})(3\times 3\times 192+1)\times 128\times 2
下采样层S_{max}13\times 13\times 128(\times 2_{GPU})3\times 3/2(\times 2_{GPU})6\times 6\times 128(\times 2_{GPU})0
全连接层F_66\times 6\times 128(\times 2_{GPU})9216\times 2048(\times 2_{GPU})1\times 1\times 2048(\times 2_{GPU})(9216+1)\times 2048\times 2
全连接层F_71\times 1\times 2048(\times 2_{GPU})4096\times 2048(\times 2_{GPU})1\times 1\times 2048(\times 2_{GPU})(4096+1)\times 2048\times 2
全连接层F_81\times 1\times 2048(\times 2_{GPU})4096\times 10001\times 1\times 1000(4096+1)\times 1000\times 2

卷积层C_1输入为224\times 224\times 3的图片数据,分别在两个GPU中经过核为11\times 11\times 3、步长(stride)为4的卷积后,分别得到两条独立的55\times55\times48的输出数据。

下采样层S_{max}实际上是嵌套在卷积中的最大池化操作,但是为了区分没有采用最大池化的卷积层单独列出来。在C_{1-2}卷积层中的池化操作之后(ReLU激活操作之前),还有一个LRN操作,用作对相邻特征点的归一化处理。

卷积层C_3的输入与其他卷积层不同,13\times13\times192\times2_{GPU}表示汇聚了上一层网络在两个GPU上的输出结果作为输入,所有在进行卷积操作时通道上的卷积核维度为384。

全连接层F_{6-8}中输入数据尺寸也和C_3类似,都是融合了两个GPU流向的输出结果作为输入。

4.2.3 模型特性

  • 所有卷积层都使用ReLU作为非线性映射函数,使模型收敛速度更快。
  • 在多个GPU上进行模型的训练,不但可以提高模型的训练速度,还能提升数据的使用规模。
  • 使用LRN对局部的特征进行归一化,结果作为ReLU激活函数的输入能有效降低错误率。
  • 重叠最大池化(overlapping max pooling),即池化范围z与步长s存在关系z>s(如S_{max}中核尺度为3\times3/2),避免平均池化(average pooling)的平均效应。
  • 使用随机丢弃技术(dropout)选择性地忽略训练中的单个神经元,避免模型的过拟合。

4.3 ZFNet

4.3.1 模型介绍

ZFNet是由Matthew D.Xeiler和Rob Fergus在AlexNet基础上提出的大型卷积网络,在2013年ILSVRC图像分类竞赛中以11.19%的错误率获得冠军(实际上原ZFNet所在的队伍并不是真正的冠军,原ZFNet以13.51%错误率排在第8,真正的冠军是Clarifai这个队伍,而Clarifai这个队伍所对应的一家初创公式的CEO又是Zeiler,而且Clarifai对ZFNet的改动比较小,所以通常认为是ZFNet获得了冠军)[3-4]。ZFNet实际上是微调(fine-tuning)了的AlexNet,并通过反卷积(Deconvolution)的方式可视化各层的输出特征图,进一步解释了卷积操作在大型网络中效果显著的原因。

4.3.2 模型结构

图4.4 ZFNet网络结构图(原始结构图与AlexNet风格结构图)

如图4.4所示,ZFNet与AlexNet类似,都是由8层网络组成的卷积神经网络,其中包含5层卷积层和3层全连接层。两个网络结构最大的不同在于,ZFNet第一层卷积采用了7\times7\times3/2的卷积核替代了AlexNet中第一层卷积核11\times11\times3/4的卷积核。图4.5中ZFNet相比于AlexNet在第一层输出的特征图中包含更多中间频率的信息,而AlexNet第一层输出的特征图大多是低频或高频的信息,对中间频率特征的缺失导致后续网络层次如图4.5(c)能够学习到的特征不够细致,而导致这个问题的根本原因在于AlexNet在第一层中采用的卷积核和步长过大。

​ 图4.5 (a)ZFNet第一层输出的特征图(b)AlexNet第一层输出的特征图(c)AlexNet第二层输出的特征图(d)ZFNet第二层输出的特征图

表4.3 ZFNet网络参数配置

卷积层C_1与AlexNet中的C_1有所不同,采用7\times7\times3/2的卷积核代替11\times11\times3/4,使第一层卷积输出的结果可以包含更多的中频率特征,对后续网络层中多样化的特征组合提供更多选择,有利于捕捉更细致的特征。

卷积层C_2采用了步长2的卷积核,区别于AlexNet中C_2的卷积核步长,所以输出的维度有所差异。

4.3.3 模型特性

​ ZFNet与AlexNet在结构上几乎相同,此部分虽属于模型特性,但准确地说应该是ZFNet原论文中可视化技术的贡献。

  • 可视化技术揭露了激发模型中每层单独的特征图。
  • 可视化技术允许观察在训练阶段特征的演变过程且诊断出模型的潜在问题。
  • 可视化技术用到了多层解卷积网络,即由特征激活返回到输入像素空间。
  • 可视化技术进行了分类器输出的敏感性分析,即通过阻止部分输入图像来揭示那部分对于分类是重要的。
  • 可视化技术提供了一个非参数的不变性来展示来自训练集的哪一块激活哪个特征图,不仅需要裁剪输入图片,而且自上而下的投影来揭露来自每块的结构激活一个特征图。
  • 可视化技术依赖于解卷积操作,即卷积操作的逆过程,将特征映射到像素上。

4.4 Network in Network

4.4.1 模型介绍

Network in Network(NIN)是由Min Lin等人提出,在CIFAR-10和CIFAR-100分类任务中达到当时的最好水平,因其网络结构是由三个多层感知机堆叠而成被称为NIN[5]。NIN以一种全新的角度审视了卷积神经网络中的卷积核设计,通过引入子网络结构代替纯卷积中的线性映射部分,这种形式的网络结构激发了更复杂的卷积神经网络的结构设计,其中下一节中介绍的GoogleLeNet的Inception结构就是来源于这个思想。

4.4.2 模型结构

图4.6 NIN网络结构图

NIN由三层的多层感知卷积层(MLPConv Layer)构成,每一层多层感知卷积层内部由若干的局部全连接层和非线性激活函数组成,代替了传统卷积层中采用的线性卷积核。在网络推理(inference)时,这个多层感知器会对输入特征图的局部特征进行滑窗计算,并且每个滑窗的局部特征图对应的乘积的权重是共享的,这两点是和传统卷积操作完全一致的,最大的不同在于多层感知器对局部特征进行了非线性的映射,而传统卷积的方式是线性的。NIN的网络参数配置表4.4所示(原论文并未给出网络参数,表中参数为编者结合网络结构图和CIFAR-100数据集以3\times3卷积为例给出)。

表4.4 NIN网络参数配置(结合原论文NIN结构和CIFAR-100数据给出)

网络层输入尺寸核尺寸输出尺寸参数个数
局部全连接层L_{11}^*32\times 32\times 3(3\times 3)\times 16/130\times 30\times 16(3\times 3\times 3+1)\times 16
全连接层L_{12}^*30\times 30\times 1616\times 1630\times 30\times 16(16+1)\times 16
局部全连接层L_{21}30\times 30\times 16(3\times 3)\times 64/128\times 28\times 64(3\times 3\times 16+1)\times 64
全连接层L_{22}28\times 28\times 6464\times 6428\times 28\times 64(16+1)\times 64
局部全连接层L_{31}28\times 28\times 64(3\times 3)\times100/126\times 26\times 100(3\times 3\times 64+1)\times 100
全连接层L_{32}26\times 26\times 100100\times 10026\times 26\times 100(100+1)\times 100
全局平均采样GAP^*26\times 26\times 10026\times 26\times 100/11\times 1\times 1000

局部全连接层L_{11}实际上是对原始输入图像进行划窗式的全连接操作,因此划窗得到的输出特征尺寸为30\times30\frac{32-3_k+1}{1_{stride}}=30) 全连接层L_{12}是紧跟L_{11}后的全连接操作,输入的特征是划窗后经过激活的局部响应特征,因此仅需连接L_{11}L_{12}的节点即可,而每个局部全连接层和紧接的全连接层构成代替卷积操作的多层感知卷积层(MLPConv)。 全局平均采样层或全局平均池化层GAP(Global Average Pooling)将L_{32}输出的每一个特征图进行全局的平均池化操作,直接得到最后的类别数,可以有效地减少参数量。

4.4.3 模型特性

  • 使用多层感知机结构来代替传统卷积的滤波操作,不但有效减少卷积核数过多而导致的参数量暴涨问题,还能通过引入非线性的映射来提高模型对特征的抽象能力。
  • 使用全局平均池化来代替最后一个全连接层,能够有效地减少参数量(没有可训练的参数),同时池化用到了整个特征图的信息,对空间信息的转换更加鲁棒,最后得到的输出结果可直接作为对应类别的置信度。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/282432.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL的基本操作

目录 引言 一、SQL语句简介 (一)SQL通用语法 (二)SQL分类 (三)数据类型 1.数值类型 2.字符串类型 3.日期/时间类型 4.修饰符 二、登录mysql服务 三、SQL语句操作 (一)DD…

canopen使用

CAN 总线协议 1)、启动SDO 下载协议 ccs:客户端 指定命令 1:开始下载请求 •scs:服务器命令符 3:开始下载响应 •n:只有当e 1和s1,否则为0。如果有效则表示字节在d不这样做的数量有效包…

【Selenium(一)】

简介 Selenium是一个开源的自动化测试工具,主要用于Web应用程序的自动化测试。它支持多种浏览器,包括Chrome、Firefox、Internet Explorer等,以及多种编程语言,如Java、Python、C#、Ruby等,使得它成为Web自动化测试中…

AI PPT生成工具 V1.0.0

AI PPT是一款高效快速的PPT生成工具,能够一键生成符合相关主题的PPT文件,大大提高工作效率。生成的PPT内容专业、细致、实用。 软件特点 免费无广告,简单易用,快速高效,提高工作效率 一键生成相关主题的标题、大纲、…

Linux 系统是如何收发⽹络包的

Linux 系统是如何收发⽹络包的? ⽹络模型 为了使得多种设备能通过⽹络相互通信,和为了解决各种不同设备在⽹络互联中的兼容性问题,国际标准化组织制定了开放式系统互联通信参考模型(Open System Interconnection Reference Mode…

吴恩达机器学习笔记 二十六 决策树学习过程 独热编码one-hot

决策树的学习过程 1. 所有样本都在根结点 2.计算所有可能的特征的信息增益,选择信息增益最大的那个 3.根据选择的特征分离数据集,创造左右两支子树 4.继续进行分裂直到达到停止标准。停止标准有:一个节点只有一类样本;分裂一…

比堆垛机方案省电65% 实施快50% 四向车系统柔性化建设进程异军突起

对物流企业来说,供应链的数智化升级并非“赶时髦”,它需要找到一个既懂物流行业,又有数字化技术作基础的仓储方案提供商。而河北沃克基于AI底层技术、软硬一体化产品体系和技术创新行业经验双轮驱动的业务团队等“技术产品人才”三位一体优势…

(附源码)基于Spring Boot + Vue 在线网课学习系统的设计与实现

前言 💗博主介绍:✌专注于Java、小程序技术领域和毕业项目实战✌💗 👇🏻 精彩专栏 推荐订阅👇🏻 2024年Java精品实战案例《100套》 🍅文末获取源码联系🍅 &#x1f31…

[HackMyVM]靶场 XMAS

kali:192.168.56.104 靶机:192.168.56.126 注意在/etc/hosts 添加 192.168.56.126 christmas.hmv # cat /etc/hosts 127.0.0.1 localhost 127.0.1.1 kali2 192.168.223.131 dc-2 192.168.223.134 wordy 192.168.56.105 midn…

Vue3中基本数据类型为什么需要.value,,,引用类型不需要.value

1、在v3中使用基本数据类型(如数字、字符串、布尔值)时,如果你希望响应式地更新数据并触发视图更新,需要使用ref包裹基本数据类型,然后将基本数据类型转化为响应式对象;- - - 因此当你使用ref包裹基本数据类型时,实际上得到的是一个包含.valu…

3D开发工具HOOPS如何助力3D项目实现扩展现实技术?

在当今数字化时代,扩展现实(Augmented Reality,AR)技术的应用已经逐渐深入到各行各业,为用户带来了前所未有的沉浸式体验。而在实现这种技术的开发过程中,HOOPS技术的运用无疑是一种强大的助力。HOOPS是一种…

git push出错: src refspec dev/xxx does not match any

使用如下命令gitp push出错: git push origin 远端分支名 git push origin dev/xxxx error: src refspec dev/xxxx does not match any error: failed to push some refs to https://git.woa.com/..... 解决方案 1: git push origin 本地分支名:远端分支名 解决方案2&#…

ROS机器人虚拟仿真挑战赛本地电脑环境配置测试

预备基础 此案例需要完成: ROS机器人虚拟仿真挑战赛本地电脑环境配置记录-CSDN博客 ROS机器人虚拟仿真挑战赛本地电脑环境配置个人问题汇总-CSDN博客 命令测试 在不同的终端窗口分别输入: 标签1: roslaunch tianracer_gazebo demo_tian…

【GIT】最好用的git可视化教程网站推荐

最好用可视化学习git 网站:https://learngitbranching.js.org/?demo&localezh_CN 玩遍所有关卡&#xff0c;花半天时间便能掌握git &#x1f603; 本地仓库 基础命令介绍 git commit 提交 git branch <分支名> 创建分支 git checkout <分支名> 切换分支 git…

堆叠与集群

8.1堆叠与集群概述 随着企业的发展&#xff0c;企业网络的规模越来越大&#xff0c;这对企业网络提出了更高的要求&#xff1a;更高的可靠性、更低的故障恢复时间、设备更加易于管理等。传统的园区网高可靠性技术出现故障时切换时间很难做到毫秒级别、实现可靠性的方案通常为一…

Windows11安装Msql8.0版本详细安装步骤!

文章目录 前言一、下载Mysql二、安装Mysql三、登录验证三、环境变量配置总结 前言 每次搭建新环境的时候&#xff0c;都需要网上搜寻安装的步骤教程&#xff01;为了以后方便查阅&#xff01;那么本次就记录一下Windows11安装Msql8.0的详细步骤&#xff01;也希望能帮助到有需…

手写简易操作系统(十三)--编写简单C库

前情提要 因为马上要涉及到一个非常重要的部分&#xff0c;内存管理&#xff0c;所以这里我们编写一个简单的C库&#xff0c;用于支持我们后续的C语言开发 一、Assert断言 assert其实如果大家对C语言比较熟悉的话并不陌生&#xff0c;这个函数被称为断言&#xff0c;也就是程…

HTTP 工作流程请求响应 - 面试常问

文章目录 HTTP 工作流程请求和响应格式HTTP请求格式请求行&#xff1a;请求头部字段&#xff1a;空行&#xff1a;消息正文&#xff08;请求正文&#xff09;&#xff1a; HTTP响应格式状态行&#xff1a;响应头部字段&#xff1a;空行&#xff1a; HTTP方法HTTP状态码常用HTTP…

消息队列—RabbitMQ如何保证消息可靠性?

1. 如何保证消息的可靠性&#xff1f; 先来看看我们的万年老图&#xff0c;从图上我们大概可以看出来一个消息会经历四个节点&#xff0c;只有保证这四个节点的可靠性才能保证整个系统的可靠性。 生产者发出后保证到达了MQ。MQ收到消息保证分发到了消息对应的Exchange。Exchan…

工厂投产、电池装车,广汽能上动力电池行业的“餐桌”吗?

文 | 智能相对论 作者 | 沈浪 “如果你不在餐桌上&#xff0c;你就会出现在菜单上。”在某种程度上&#xff0c;追逐效益的动力电池行业正在上演着布林肯的“餐桌菜单论”。 于是&#xff0c;我们可以看到&#xff0c;尽管整体的动力电池市场被宁德时代、比亚迪、LG新能源、…