深度学习笔记14-卷积神经网络2

1.卷积神经网络的结构

        卷积神经网络,是包含卷积运算且具有深度结构的前馈神经网络。在卷积神经网络中,包含卷积层、池化层和全连接层三种重要的结构。相比前馈神经网络,卷积层和池化层是新增的网络结构,在提取特征时,卷积神经网络使用卷积层代替了全连接层,可以通过增加卷积层和池化层的数量,得到更深的卷积神经网络。

卷积层和池化层

        卷积层用于特征提取,池化层用于特征压缩。

        在一个卷积层中,一般包含多个卷积核,这些不同的卷积核同时与输入图像进行卷积运算,一起提取特征,会输出不同的特征图。卷积层和全连接层类似,卷积运算同样是线性的计算,输入数据经过卷积运算后得到输出结果,这个结果还会输入至非线性的激活函数中。其中最常使用的激活函数时ReLu函数。

        池化层也被称为汇聚层,它的作用是对特征图进行特征选择,降低特征的数量,通过池化层可以有效减少所需要的参数的数量。在池化层后会继续连接全连接层,由于池化层大幅减少了输出特征图的大小,因此全连接层的输入神经元的个数也大幅减少,进而减少全连接层中的参数,提到了计算效率。

        卷积神经网络由卷积层、池化层和全连接层堆叠而成,卷积层和池化层可以一起组合起来成为卷积块,在一个卷积神经网络中可以堆叠N个卷积块,在一个卷积块中又包含了m个连续的卷积层和b个池化层(m通常设置为[2,5],b为0或1),在网络的最后还会有k个全连接层(k通常为[0,3])。

2.卷积神经网络的特点

        在全连接的前馈神经网络中,设l层有n个神经元,第l-1层有m个神经元,这两层之间的连接边就有m*n个,即权重矩阵中包括m*n个参数,当m和n都很大时,权重矩阵会更大,模型训练效率低。

        在卷积神经网络中,使用卷积计算代替全连接计算,其中参数w的数量为卷积核的大小,b的数量与卷积核的个数有关。卷积层具有局部连接和权重共享两个性质。

卷积神经网络:z^{(l)}=w^{(l)}\bigotimes a^{(l-1)}+b^{(l)}

全连接层网络:z^{(l)}=w^{(l)}\cdot a^{(l-1)}+b^{(l)}

局部连接特性

        在卷积神经网络中,对于输出特征图中的数据,都只通过卷积核和上一层的输入数据中的局部窗口内的数据相连,每个输出数据只和卷积核窗口大小的输入数据相连接。从而构成一个局部连接网络,局部连接会使得两侧数据之间的连接数大大减少。通过卷积核,提取局部特征,这就是神经网络的局部连接性。

权重共享特性

        权重共享性也被称为参数共享。在一个卷积层中,图片的输入数据,会和相同的卷积核w进行卷积运算,无论是输入图片有多少数据,都会和相同的卷积核进行卷积运算,这就是权重共享性。卷积核的权重共享性,使得卷积神经网络可以处理平移、旋转、缩放的图像。

3.多通道输入、输出和批量操作

多通道输入

        黑、白、灰色图时单通道图像。对于彩色图像,处理高和宽两个维度,还有RGB,也就是红、绿、蓝,3个不同颜色的通道。如果彩色图像的高和宽分别是h和w,那么该图像就可以表示成一个3*h*w的多维数组。3代表3个颜色通道。

        如果使用卷积核对彩色图像进行特征提取,就需要同时设置3个不同的卷积核。将彩色图像输入至包含3个卷积核的卷积层进行计算,这个过程就是多通道输入。每个输入通道需要与对应的卷积核计算,计算后将对应位置的计算结果累加求和,得到最终的输出结果。无论输入通道有多少个,由于对各个通道的结果做了累加,所以多通道输入的输出通道的数任然是1。

多通道输出

        多通道输出就是使用不同的卷积核,提取特征,提取特征后输出不同的特征图。当多个输出通道进行卷积运算时,每个输出通道分别进行卷积运算。将不同的输出通道的结果叠放在一起,就得到了最终的输出结果。另外,卷积操作通常会加上偏置项b,每个输出通道,都会独立使用一个偏置参数b,有几个输出通道,就有几个偏置参数。

批量操作

        在卷积神经网络中的计算中,可以将多个样本放在一起,形成一个mini-batch,也就是小批量。对一组小批量数据同时进行计算,就被称为数据的批量操作。

4.卷积神经网络的池化层

        池化层,也被称为汇聚层、子采样层。池化层的主要作用是对卷积层生成的特征图进行下采样,减少特征图的尺寸。当使用池化层进行特征选择后,特征数量和参数数量随之减少,在一定程度上防止过拟合。输出特征图经池化层特征选择后,可以有效减小全连接层的输入神经元的个数,从而提高计算效率。

池化层计算

        池化层计算和卷积层计算类似,需要设置一个固定形状的窗口,该窗口就是池化窗口。池化层会基于窗口中的输入数据,计算输出结果。

        创建的池化层计算包括最大池化和平均池化,最大池化会计算窗口内元素的最大值,平均池化会计算窗口内元素的平均值。

池化层的参数

        池化层和卷积层一样,同样可以设置填充和步幅两个参数。一般常用的池化层参数为,窗口大小2*2,步幅2,填充0。通过这样的池化运算,输出特征图的高和宽相比输入数据都会减半。

        类似于卷积层,池化层也可以处理多通道的输入数据,但是处理方式不同。池化层在处理多通道数据时,会对每个输入通道分别进行池化。因此,池化层的输出通道数和输入通道数相同。池化层通过使用一个区域的统计特征,代替具体的输出值,使得特征图尺寸减小的同时,保留住大多数重要的特征信息。

5.卷积神经网络的全连接层

        在卷积神经网络的最后,会设置1-3个全连接层,这些全连接层与单纯的前馈神经网络中的全连接层没有区别。它们会接收池化层计算出的特征图。

        卷积神经网络的卷积层的作用是,特征提取。但是对图像进行基础特征提取,是无法确定图像的具体类别的。需要将基础特征进行组合使用,进行最终的分类的判断。将全连接层放在卷积层和池化层的后面 ,其作用是,组合卷积层输出的基础特征,最终确定图像属于哪个类别。全连接层具有组合特征和分类器的功能。

全连接层的使用方法

        在使用全连接层前,需要将卷积层或池化层输出的多个二维特征图展平(flatten)为一个一维的向量。将这个向量输入到全连接层。

卷积层和全连接层

        实际上,如果输入特征图大小与卷积核的大小相同,那么该卷积层的计算效果和全连接层是相同的。因为卷积核不会滑动,卷积核中的w参数相当于全连接层中的w参数。所以说,卷积层与全连接层在某些情况下是可以互换的,在整个卷积神经网络中,全连接层起到了汇总和总结的作用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/473676.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Python 正则表达式使用指南

Python 正则表达式使用指南 正则表达式(Regular Expression, 简称 regex)是处理字符串和文本的强大工具。它使用特定的语法定义一组规则,通过这些规则可以对文本进行匹配、查找、替换等操作。Python 提供了 re 模块,使得正则表达…

FPGA开发-逻辑分析仪的应用-数字频率计的设计

目录 逻辑分析仪的应用 数字频率计的设计 -基于原理图方法 主控电路设计 分频器设计 顶层电路设计 数字系统开发不但需要进行仿真分析,更重要的是需要进行实际测试。 逻辑分析仪的应用 测试方式:(1)传统的测试方式&#…

.NET 9.0 中 System.Text.Json 的全面使用指南

以下是一些 System.Text.Json 在 .NET 9.0 中的使用方式,包括序列化、反序列化、配置选项等,并附上输出结果。 基本序列化和反序列化 using System; using System.Text.Json; public class Program {public class Person{public string Name { get; se…

Linux 命令 | 每日一学,文本处理三剑客之awk命令实践

[ 知识是人生的灯塔,只有不断学习,才能照亮前行的道路 ] 0x00 前言简述 描述:前面作者已经介绍了文本处理三剑客中的 grep 与 sed 文本处理工具,今天将介绍其最后一个且非常强大的 awk 文本处理输出工具,它可以非常方便…

【第五课】Rust所有权系统(一)

目录 前言 所有权机制的核心 再谈变量绑定 主人变更-所有权转移 总结 前言 这节课我们来介绍下rust中最重要的一个点:所有权系统。这是网上经常说rust无gc的秘密所在。在开始之前,我们来想想JVM系语言,在做垃圾回收的过程,1.…

三周精通FastAPI:42 手动运行服务器 - Uvicorn Gunicorn with Uvicorn

官方文档:Server Workers - Gunicorn with Uvicorn - FastAPI 使用 fastapi 运行命令 可以直接使用fastapi run命令来启动FastAPI应用: fastapi run main.py如创建openapi.py文件: from fastapi import FastAPIapp FastAPI(openapi_url&…

任意文件下载漏洞

1.漏洞简介 任意文件下载漏洞是指攻击者能够通过操控请求参数,下载服务器上未经授权的文件。 攻击者可以利用该漏洞访问敏感文件,如配置文件、日志文件等,甚至可以下载包含恶意代码的文件。 这里再导入一个基础: 你要在网站下…

编写一个生成凯撒密码的程序

plain list(input("请输入需要加密的明文(只支持英文字母):"))key int(input("请输入移动的位数:"))base_A ord(A)base_a ord(a)cipher []for each in plain:if each :cipher.append( )else:if each.i…

RDIFramework.NET CS敏捷开发框架 V6.1发布(.NET6+、Framework双引擎、全网唯一)

RDIFramework.NET C/S敏捷开发框架V6.1版本迎来重大更新与调整,全面重新设计业务逻辑代码,代码量减少一半以上,开发更加高效。全系统引入全新字体图标,整个界面焕然一新。底层引入最易上手的ORM框架SqlSugar,让开发更加…

华为USG5500防火墙配置NAT

实验要求: 1.按照拓扑图部署网络环境,使用USG5500防火墙,将防火墙接口加入相应的区域,添加区域访问规则使内网trust区域可以访问DMZ区域的web服务器和untrust区域的web服务器。 2.在防火墙上配置easy-ip,使trust区域…

Java基础-I/O流

(创作不易,感谢有你,你的支持,就是我前行的最大动力,如果看完对你有帮助,请留下您的足迹) 目录 字节流 定义 说明 InputStream与OutputStream示意图 说明 InputStream的常用方法 说明 OutputStrea…

RabbitMQ的工作队列在Spring Boot中实现(详解常⽤的⼯作模式)

上文着重介绍RabbitMQ 七种工作模式介绍RabbitMQ 七种工作模式介绍_rabbitmq 工作模式-CSDN博客 本篇讲解如何在Spring环境下进⾏RabbitMQ的开发.(只演⽰部分常⽤的⼯作模式) 目录 引⼊依赖 一.工作队列模式 二.Publish/Subscribe(发布订阅模式) …

<项目代码>YOLOv8 番茄识别<目标检测>

YOLOv8是一种单阶段(one-stage)检测算法,它将目标检测问题转化为一个回归问题,能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法(如Faster R-CNN),YOLOv8具有更高的…

Python数据分析NumPy和pandas(三十五、时间序列数据基础)

时间序列数据是许多不同领域的结构化数据的重要形式,例如金融、经济、生态学、神经科学和物理学。在许多时间点重复记录的任何内容都会形成一个时间序列。许多时间序列是固定频率的,也就是说,数据点根据某些规则定期出现,例如每 1…

【C++滑动窗口】1248. 统计「优美子数组」|1623

本文涉及的基础知识点 C算法:滑动窗口及双指针总结 LeetCode1248. 统计「优美子数组」 给你一个整数数组 nums 和一个整数 k。如果某个连续子数组中恰好有 k 个奇数数字,我们就认为这个子数组是「优美子数组」。 请返回这个数组中 「优美子数组」 的数…

【不写for循环】玩玩行列

利用numpy的并行操作可以比纯用Python的list快很多,不仅如此,代码往往精简得多。 So, 这篇来讲讲进阶的广播和花哨索引操作,少写几个for循环()。 目录 一个二维的例题 一个三维的例题 解法一 解法二 更难的三维例题…

《Java核心技术 卷I》用户界面中首选项API

首选项API 在桌面程序中,通常都会存储用户首选项,如用户最后处理的文件、窗口的最后位置等。 利用Properties类可以很容易的加载和保存程序的配置信息,但有以下缺点: 有些操作系统没有主目录概念,很难为匹配文件找到…

3步实现贪吃蛇

方法很简单,打开页面,复制,粘贴 一.整体思维架构 我们根据游戏的开始,运行,结束,将整个游戏划分成三个部分。在每个部分下面又划分出多个功能,接下来我们就根据模块一一实现功能。 二.Gamesta…

STL序列式容器之list

相较于vector的连续性空间&#xff0c;list相对比较复杂&#xff1b;list内部使用了双向环形链表的方式对数据进行存储&#xff1b;list在增加元素时&#xff0c;采用了精准的方式分配一片空间对数据及附加指针等信息进行存储&#xff1b; list节点定义如下 template<clas…

【论文模型复现】深度学习、地质流体识别、交叉学科融合?什么情况,让我们来看看

文献&#xff1a;蓝茜茜,张逸伦,康志宏.基于深度学习的复杂储层流体性质测井识别——以车排子油田某井区为例[J].科学技术与工程,2020,20(29):11923-11930. 本文目录 一、前言二、文献阅读-基于深度学习的复杂储层流体性质测井识别2.1 摘要2.2 当前研究不足2.3 本文创新2.4 论文…