卷积神经网络(李宏毅老师系列)

自学参考:
一文搞懂卷积神经网络(CNN)的原理
视频课
课件+资料
笔记

一、引入

  • cnn设计灵感来自于生物学中的视觉系统,旨在模拟人类视觉处理的方式。
  • 常用场景:image classification
    • 基本步骤:
      • 把所有图片都先rescale成大小一样
      • 把每一个类别,表示成一个one-hot的vector(dimension length决定了模型可以辨识出多少种类的东东)
      • 把图像输入到模型中
        直接摊开的话参数量过大。若输入的向量长度是100* 100*3,有1000个neuron,则第一层的weight就有1000 * 100 *100 * 3,即3 *107,是一个庞大的数量。
        虽说随着参数的增加,可以增加模型的弹性,增加其能力,但也增加了overfitting的风险
        ⇒考虑到影像辨识问题本身的特性,无名并非一定需要fully connected,无需每一个neuron和input的每一个dimension都有一个weight
        在这里插入图片描述

二、神经元角度

  • 思考①:模型通过识别一些“特定模式”来识别物体,而非“整张图”
    ⇒neuron也许并不需要把整张图片当作输入,只需把图片的一小部分当作输入,就足以让它们侦测某些特别关键的pattern是否出现
    在这里插入图片描述

  • 简化①:设定感受野receptive field
    每个神经元只需要考察特定范围内的图像信息,把图像内容展平后输入到神经元即可。其中:

    • 感受野之间可重叠
    • 一个感受野可有多个神经元选择(共享权重)
    • 感受野大小可以“有大有小”(一般不做过大的kernal Size,常常设定为3*3)
    • 感受野可以只考虑某些channel
    • 感受野可以是“长方形”的
    • 感受野理论上不一定要“相连”
      在这里插入图片描述
  • 感受野的一般设置typical setting

    • 看所有的channel
      一般在做影像辨识时会看全部的channel,则描述一个感受野时无需说明其channel数,只要说明其高宽即可
      ⇒kernel size
    • 每个感受野会有不止一个神经元进行守备
      ⇒输出通道数/卷积核数
    • 不同的感受野之间的关系
      ⇒感受野的平移位移:stride(超参数)
      一般会让感受野之间有重叠,避免交界处的pattern被遗漏
    • 感受野超出影响的范围
      ⇒padding(补值)
      补0;补平均值;补边缘值
    • 垂直方向移动
      在这里插入图片描述
  • 思考②:同样的pattern可能出现在图片的不同位置
    侦测同样pattern的神经元做的工作是类似的
    ⇒共享参数
    在这里插入图片描述

  • 简化②:Parameter Sharing权值共享(不同感受野的神经元共享参数)
    守备的 Receptive Field 不一样,但是它们的参数一样(守备相同感受野的神经元,不希望参数一样,否则无意义)
    在这里插入图片描述

  • 参数共享的一般设定
    对每个感受野,都使用一组相同的神经元进行守备;这一组神经元被称作filter,对不同感受野使用的filter参数相同
    在这里插入图片描述

  • 卷积层的优势
    卷积层是“受限”(弹性变小)的FC

    • FC可通过“学习”决定要看到的图片的范围。加上“感受野”概念后,就只能看某一个范围
    • FC可以自由决定守备不同“感受野”的各个神经元参数。加上“权值共享”概念后,守备不同感受野的同一个滤波器filter参数相同
      在这里插入图片描述
      一般而言,model bias小,model的flexibility很高时,容易overfitting。FC层样样通,样样松(可以做各种各样的事情,可以有各种各样的变化,但可能无法在任何特定任务上做好)
      CNN的bias较大,专门为影像设计,则它在影像上可以做得很好

三、滤波器角度

  • 卷积层基本定义:
    卷积层中有若干个filter,每个filter可用来抓取图片中的某一特征(特征pattern的大小 小于感受野大小)。
    filter的参数,即为神经元中的权值weight
    不同的filter扫过一张图片,将会产生“新的图片”,每个filter会产生图片中的一个channel(feature map)
    filter的计算是内积:filter和图片对应位置的数值直接相乘,所有乘完后再相加在这里插入图片描述
    在这里插入图片描述
  • 多层卷积:让小卷积核看见大pattern
    如下图,第一层的卷积结果,产生了一张 3 × 3 × 64 3\times3\times64 3×3×64的feature map。
    继续卷积时,需要对64个channel都进行处理
    ⇒filter的“高度”为64
    在这里插入图片描述
    这里,在第二层中考虑 3 × 3 3\times3 3×3的范围,在原图实际上考虑了 5 × 5 5\times5 5×5范围内的pattern。当卷积层越来越深时,即使只是 3 × 3 3\times3 3×3的filter,看到的范围也会越来越大。
    在这里插入图片描述
  • 卷积运算中也有bias,一般忽略
  • 小结:
    在这里插入图片描述
    • 不用看整张image
      • 神经元角度:只要守备感受野
      • 滤波器角度:使用滤波器侦测模式pattern
    • 图片不同位置的相同模式pattern:
      • 神经元角度:守备不同感受野的神经元共用参数
      • 滤波器角度:滤波器“扫过”整张图片
  • 思考③:图片降采样不影响图片的辨析
    ⇒Pooling(池化)把图片变小,减小运算量
    Pooling本身没有参数,所以它不是一个 Layer,没有要 Learn 的东西。行为类似于一个 Activation Function(Sigmoid , ReLU ),是一个 Operator,它的行为都是固定好的。
    在这里插入图片描述
    大小可调整
    在这里插入图片描述
    在这里插入图片描述
  • The whole CNN(典型分类网络结构):conv-pooling-…(循环)-flatten-FC-softmax
    在这里插入图片描述
    一般:卷积与池化(可选,减小运算量)交替使用
    在这里插入图片描述
    Pooling对 Performance,会带来一点伤害的。如果你运算资源足够支撑你不做 Pooling 的话,很多 Network 的架构的设计,往往今天就不做 Pooling,全 Convolution。

四、应用

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/396921.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据结构--第六天

--树 -树的基本概念 树结构通常用来储存逻辑关系为“一对多”的数据,例如: 上图的这些元素具有的就是 "一对多" 的逻辑关系,例如元素A同时和B、C、D有关系,元素D同时和A、H、I、J有关系等。 观察这些元素之间的逻辑关…

模拟经营之神:《北境之地》安卓手机游戏,免费分享

《北境之地》(Northgard)是一款以北欧神话为背景的即时战略游戏,由Shiro Games开发。玩家在游戏中扮演维京部落的领袖,目标是探索新大陆、建立据点、管理资源,并在严酷的冬季和敌人的威胁下生存下来 。 游戏特色包括&a…

gin路由

1主文件 package main import ("github.com/gin-gonic/gin""godade/user""net/http" ) func main() {router : gin.Default()router.GET("/", func(c *gin.Context) {c.String(http.StatusOK, "Hello World")})v1 : router…

如何避免项目发布后用户从浏览器WebPack中看到源码

打包前在config->index.js中设置productionSourceMap为false productionSourceMap: false,

C# AI鉴图宝 利用OCR技术对违规图片进行判别

目录 效果 项目 代码 下载 效果 项目 代码 using Aspose.Cells; using NLog; using OpenCvSharp; using OpenVINO.OCRService; using Sdcb.OpenVINO; using Sdcb.OpenVINO.PaddleOCR; using Sdcb.OpenVINO.PaddleOCR.Models; using System; using System.Collections.Conc…

Jmeter性能压测4000并发

性能测试的底层逻辑 程序为什么会有性能问题 用户操作 客户端(web/app/小程序)触发网络请求,服务器处理大量网络请求代码运行需要大量服务器资源(CPU、内存、网络、磁盘等等) 资源不是无限,硬件配置不是随…

使用Python发送PDD直播间弹幕(协议算法分析)

文章目录 1. 写在前面2. 接口分析3. 算法还原 【🏠作者主页】:吴秋霖 【💼作者介绍】:擅长爬虫与JS加密逆向分析!Python领域优质创作者、CSDN博客专家、阿里云博客专家、华为云享专家。一路走来长期坚守并致力于Python…

日撸Java三百行(day19:字符串匹配)

目录 一、字符串的一些基础知识 二、代码实现 1.字符类的创建 2.字符类的遍历 3.字符串匹配 4.字符串截取 5.数据测试 6.完整的程序代码 总结 一、字符串的一些基础知识 字符串(String)是用一对双引号括起来的零个或多个字符组成的有限序列&am…

简单的docker学习 第13章 CI/CD与Jenkins(上)

第13章 CI/CD 与 Jenkins 13.1 平台登录页面 13.1.1 GitLab-8098-root 13.1.2 Jenkins-8080-zhangsan 13.1.3 SonarQube-9000-admin 13.1.4 harbor-80-admin 13.2 CI/CD 与 DevOps 13.2.1 CI/CD 简介 CI > Continuous Integration,持续集成。即将持续不断更新…

如何在linux系统上部署nginx

1)首先去 nginx.org/download 官网下载你所需要的版本 我这里是下载的 nginx-1-23-3.tar.gz 2)然后执行 yum -y install lrzsz 安装文件上传软件 执行 rz 选择你下载nginx的位置进行上传 yum -y install lrzsz 3)执行 tar -zxvf nginx-1.23…

数据可视化(爬取豆瓣网站)

目录 1 绪论 1.1 研究背景 1.2 研究目的和意义 1.3 研究内容和方法 2. 需求分析 2.1 系统功能描述 2.2 数据采集与预处理 2.2.1 数据采集 2.2.2 数据清洗 2.2.3 数据处理 2.3 功能需求 2.3.1 登录模块 2.3.2 数据展示模块 3 系统设计 3.1 系统功能结构设计 3.2 …

Pycharm中重命名项目之后切换虚拟环境

Pycharm中重命名项目之后切换虚拟环境 场景 在Pycharm里面Rename Project/Directory之后,通常需要切换虚拟环境。 步骤 # 退出当前虚拟环境 deactivate # 删除旧的虚拟环境 .venv # 新建新的虚拟环境 python -m venv .venv # 切换到新的工程目录 cd E:\Bigdata\…

排序算法——插入排序

一、插入排序概念 直接插入排序(Insertion Sort)是一种简单的排序算法,它的工作原理类似于人们手动排序卡片的方式。该算法通过构建有序序列,对于未排序数据,在已排序序列中从后向前扫描,找到相应位置并插…

二叉树相关的算法题

二叉树相关的算法题 单值二叉树 如果二叉树每个节点都具有相同的值,那么该二叉树就是单值二叉树。 只有给定的树是单值二叉树时,才返回 true;否则返回 false。 示例 1: 输入:[1,1,1,1,1,null,1] 输出:t…

初阶数据结构5 排序

排序 1. 排序概念及运用1.1 概念1.2运用1.3 常见排序算法 2. 实现常⻅排序算法2.1 插⼊排序2.1.1 直接插⼊排序2.1.2 希尔排序2.1.2.1 希尔排序的时间复杂度计算 2.2 选择排序2.2.1 直接选择排序2.2.2 堆排序 2.3 交换排序2.3.1冒泡排序2.3.2 快速排序2.3.2.1 hoare版本2.3.2.2…

【云服务器系列】基于华为云OBS实现Picgo和Typora的完美融合

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

STM32-IIC协议详解

一、IIC简介 IC(Inter-Integrated Circuit)协议由飞利浦公司于1980年代开发,是一种用于集成电路间短距离通信的串行协议。它设计用于连接低速外围设备,特别适合于需要简单数据交换的场景。IC协议使用两根信号线:SCL&am…

Python数值计算(23)——modified akima插值

1. 数学原理 在前面的Akima插值中,计算斜率使用如下公式: 如果记: 在出现分母分子同时为零的情况时,会出现NaN的计算结果,Akima他自己也意识到这种问题,因此,在原来的算法上做了修订&#xff0…

Python | Leetcode Python题解之第330题按要求补齐数组

题目&#xff1a; 题解&#xff1a; class Solution:def minPatches(self, nums: List[int], n: int) -> int:patches, x 0, 1length, index len(nums), 0while x < n:if index < length and nums[index] < x:x nums[index]index 1else:x << 1patches …

【线性代数】第2章 矩阵及其运算,矩阵的定义,矩阵的加法,矩阵的乘法(同济大学)

目录 1 矩阵 一、矩阵概念的引入 二、矩阵的定义 三、特殊的矩阵 同型矩阵与矩阵相等的概念 四、矩阵与线性变换 例 例 例 2 矩阵的运算 例 一、矩阵的加法 二、数与矩阵相乘 例&#xff08;续&#xff09; 三、矩阵与矩阵相乘 1 矩阵 一、矩阵概…