cnn突破八(两层卷积核bpnet网络扩展)

cnn突破七中x【?】怎么求?我们举个例子:

接着cnn突破七:

hicnn【】来自temphicnn【】2*2最大池化:

temphicnn[0]+=x[i=0,j=0,5*5方阵]*w1cnn[0-24],

hicnn是5*5的,temphicnn是10*10的,x是14*14的。

hicnn【1】来自temphicnn【2】【3】【12】【13】,一一对应池化中的位置(0,0)(0,1)(1,0)(1,1),假定(1,1)最大,即13=(第二行=1,第四列=3),即temphicnn【13=1*10+3】最大,对应x【17=1*14+3】

所以,一个hicnn对应一个hocnn,一个hocnn【1】对应25个w1cnn更新:

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*x[17];(公式最后两项关键,其他省略,可以看前头)

\frac{\partial E}{\partial w1cnn[1]}=.....ds(hocnn[1])*x[18];

\frac{\partial E}{\partial w1cnn[2]}=.....ds(hocnn[1])*x[19];

\frac{\partial E}{\partial w1cnn[3]}=.....ds(hocnn[1])*x[20];

\frac{\partial E}{\partial w1cnn[4]}=.....ds(hocnn[1])*x[21];卷积核第一行结束,开始第二行

\frac{\partial E}{\partial w1cnn[5]}=.....ds(hocnn[1])*x[17+14];

......

hicnn【0】来自temphicnn【0】【1】【10】【11】,一一对应池化中的位置(0,0)(0,1)(1,0)(1,1),假定(1,0)最大,即10=(第二行=1,第一列=0),即temphicnn【10=1*10+0】最大,对应x【14=1*14+0】

所以,一个hicnn对应一个hocnn,一个hocnn【0】对应25个w1cnn更新:

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[0])*x[14];

\frac{\partial E}{\partial w1cnn[1]}=.....ds(hocnn[0])*x[15];

\frac{\partial E}{\partial w1cnn[2]}=.....ds(hocnn[0])*x[16];

\frac{\partial E}{\partial w1cnn[3]}=.....ds(hocnn[0])*x[17];

\frac{\partial E}{\partial w1cnn[4]}=.....ds(hocnn[0])*x[18];卷积核第一行结束,开始第二行

\frac{\partial E}{\partial w1cnn[5]}=.....ds(hocnn[0])*x[14+14];

......

有公式套就是好!这样我们cnn中的卷积核就在反向传播中更新了,我们这个卷积核cnn相当于四层bpnet网络,我们通过一个5*5的卷积核,把整个过程展现出来了!我们的网络结构是:

14*14-》4@10*10-》4@5*5-》80-》10,我们展示了一个卷积核,那么就是:

14*14-》10*10-》5*5-》80-》10,我们的hocnn有5*5个,其中一个就会更新一次5*5的w1cnn卷积核。

下面我们考虑28*28->4@24*24->4@12*12->16@8*8->16@4*4->80->10这个网络结构,

28*28->4@24*24是第一次4个5*5卷积核,

4@12*12->16@8*8是第二次4个5*5卷积核,

这个太复杂,我们化繁为简:

28*28->24*24->12*12->8*8->4*4->80->10

你有没有发现12*12->8*8->4*4->80->10和我们上面的一个卷积核的cnn一样?再看看:

14*14->10*10->5*5->80->10,是的,这个我们已经搞定,我记着为A=12*12->8*8->4*4->80->10那么:

28*28->24*24->12*12->8*8->4*4->80->10

就变成:28*28->24*24->A

我们A中的输入图像是x【】对吧!我们28*28要用,所以A的这个我们记着为hxo【】,好,我们简化网络:

28*28-》12*12-》4*4-》80-》10,显然这是一个5层网络,有扩展了,更复杂了,但我们要简单化:28*28处的卷积核我们记着为:w784【】,那么就有

x【】*w784【】-》sigmod(hxi【】)=hxo【】-》HIcnn,

hxo【】*w1cnn【25】=HIcnn-》sigmod(HIcnn)=HOcnn-》H2I,

hocnn【】*w12cnn【】=H2I-》sigmod(H2I)=H2O-》YI,

h2o【】*w2cnn【】=YI-》sigmod(YI)=YO,d【】是期望

其实我们写了这么多,我们只要在backward中实现:

x【】*w784【】-》sigmod(hxi【】)=hxo【】-》HI,

这一段的推导就可以了。还记得我们的四层网络公式吧:

\frac{\partial E}{\partial w1cnn[i]}=\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*x[i->?]

我们在五层卷积核中找到了规律,这样替换他:

我们令B=\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])

\frac{\partial E}{\partial w784[i]}=B*\frac{\partial hicnn[]}{\partial hxo[]}*\frac{\partial hxo[]}{\partial hxi[]}*\frac{\partial hxi[]}{\partial w784[i]}

=B*w1cnn[25]*ds(hxo[])*x[i]

\sum_{k=0}^{9}(yo[k]-d[k])*ds(yo[k])*w2【m,k】*ds(h2o[m])*w12【j,m】*ds(hocnn[j])*w1cnn[25]*ds(hxo[])*x[i]

;这个x[i],我们说了是28*28图像,其实,我们现在要细化的就是:

\frac{\partial E}{\partial w784[i]}=......w1cnn[25]*ds(hxo[])*x[i=?]

我们先看看四层网络:\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*x[17];

这个x【17】在这五层网络里被替换为hxo【17】;

\frac{\partial E}{\partial w1cnn[0]}=.....ds(hocnn[1])*hxo[17];(在五层里未必是1和17对应,这里我们重点看符号的对应

那么五层网络公式:

\frac{\partial E}{\partial w784[i]}=......ds(hocnn[j=1])*w1cnn[25]*ds(hxo[17])*x[i]就能看清楚?每一个hocnn[j]都会更新一次w1cnn,我们调整一下:

\frac{\partial E}{\partial w784[i]}=......w1cnn[25]*ds(hocnn[j=1])*ds(hxo[17])*x[i=?]

这里的关键是我们通过每一个hocnn[j]找到与hxo【?】的对应,

那么我们就能找到hxo【?】与x【i=?】的对应。

这个关系我们在四层网络中找到了呼应,就像递归一样,我们又要把找到的那个公式用起来,

实际就是这么一回事!

也就是说,我们在四层网络已经找过了hocnn和hxo的关系,现在要找hxo和x【i=?】的关系,仿照四层,我们用一样的办法就能搞定。

下一节我们用程序示范一下。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/442746.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

git clone 私有仓库时出现错误 Authentication failed for :xxxxxx

错误信息 remote: Support for password authentication was removed on August 13, 2021. remote: Please see https://docs.github.com/get-started/getting-started-with-git/about-remote-repositories#cloning-with-https-urls for information on currently recommended…

音频剪辑在线工具 —— 让声音更精彩

你是否曾梦想过拥有自己的声音创作空间,却苦于复杂的音频编辑软件?接下来,让我们一同揭开这些音频剪辑在线工具的神秘面纱,看看它们如何帮助你实现从录音到发布的无缝衔接。 1.福昕音频剪辑 链接直达>>https://www.foxits…

Windows系统编程(三)线程并发

进程与线程 进程:直观的说就是任务管理器中各种正在运行的程序。对于操作系统来说,进程仅仅是一个数据结构,并不会真实的执行代码 线程:通常被称作但并不真的是轻量级进程或实际工作中的进程,它会真实的执行代码。每…

Qwen变体新成员加一,英伟达训练 NVLM-D-72B 视觉大模型

今天(2024 年 9 月 17 日),我们推出了前沿级多模态大语言模型(LLM)系列 NVLM 1.0,它在视觉语言任务上取得了最先进的结果,可与领先的专有模型(如 GPT-4o)和开放存取模型&…

易图讯军用VR三维电子沙盘系统

深圳易图讯军用VR三维电子沙盘系统是一种集成了虚拟现实(VR)技术、三维建模技术、大数据分析、实时动态更新以及高度安全可靠的综合性军事指挥平台。该系统通过高精度三维模型真实再现战场环境,为指挥员提供沉浸式体验和交互操作的可能性&…

【黑马点评】0.环境配置--Redis6.2.6和可视化工具在Windows上的安装

黑马点评--0.Redis6.2.6在windows上的环境配置与可视化 0 前言1 下载安装2 解压后运行msi文件3 修改配置文件并打开Redis3.1 修改密码(可选)3.2 测试 4 Redis可视化(可选)4.1 Another Redis Desktop Manager下载安装4.2 连接Redis…

N1从安卓盒子刷成armbian

Release Armbian_noble_save_2024.10 ophub/amlogic-s9xxx-armbian (github.com) armbian下载,这里要选择905d adb 下载地址 https://dl.google.com/android/repository/platform-tools-latest-windows.zip 提示信息 恩山无线论坛 使用usb image tool restet a…

深入理解NumPy库:常用函数详解与数组操作指南

在数据科学和数值计算领域,NumPy无疑是一个强大的工具,它为Python提供了高效的多维数 组处理能力。无论是进行数据分析、构建机器学习模型,还是进行复杂的科学计算,NumPy都是 不可或缺的核心库之一。 numpy.array 是 NumPy 库中…

C# 获取可执行文件目录

---------------------------------------------------------------------------

SpringMVC框架:入门讲解和基础案例解析

Spring Web MVC是什么? Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架。使用了MVC架构模式的思想,将web层进行职责解耦,基于请求驱动指的就是使用请求-响应模型 。框架的目的就是帮助我们简化开发&…

PCB板材基本知识

术语 名称定义插图 copper foil 铜箔 Copper Clad Laminates,CCL 覆铜箔层压板 CCL是PCB制造的上游核心材料,是将电子玻纤布或其它增强材料浸以树脂,一面或双面覆以铜箔并经热压而制成的一种板状材料,担负着(PCB&am…

优先级队列详解

一,优先级队列 什么是优先级队列呢,不知道大家了解过队列没有,队列是一种先进先出的数据结构,但是我们有时会想让优先级高的先出队列,所以我们出现了一种新的数据结构,我们实现两种主要功能得到优先级高的数…

螺蛳壳里做道场:老破机搭建的私人数据中心---Centos下Docker学习07(基于docker容器的防火墙及NAT企业实战)

7.1 网络准备 7.2 网络规划 1)虚拟网络编辑器 点击右下方“更改设置”,点击“添加网络”假如vmnet3和vmnet4,然后分别选择vmnet3和vmnet4,设置为“仅主机模式”,按③处处理,去掉“使用DHCP”,…

ORA-19815 db_recovery_file_dest_size 100%

1、alert日志报错 ORA-19815 db_recovery_file_dest_size 100% 恢复区空间使用满 2、rm删除后操作系统空间使用,但V$RECOVERY_FILE_DEST记录的空间使用率仍然是满的 3、rman delete expired 归档日志后恢复正常 4、当然可以通过增大db_recovery_file_dest_size来临时…

牛客——xay loves or与 __builtin_popcount的使用

xay loves or 题目描述 登录—专业IT笔试面试备考平台_牛客网 运行思路 题目要求我们计算有多少个正整数 yy 满足条件 x \text{ OR } y sx OR ys。这里的“OR”是指按位或运算。为了理解这个问题,我们需要考虑按位或运算的性质。 对于任意两个位 a_iai​ 和 b_…

HUAWEI_HCIA_实验指南_Lib1.4_配置通过Telnet登录系统

一、原理概述 Telnet(Telecommunication Network Protocol)起源于ARPANET,是最早的Internet应用之一。 Telnet 通常用在远程登录应用中,以便对本地或远端运行的网络设备进行配置、监控和维护。如网络中有多台设备需要配置和管理,用户无需为每一台设备…

NUKE 15有哪些新的改进功能?影视后期特效合成NUKE 15 安装包分享 【Mac/win】

Nuke 15是一款由英国The Foundry公司开发的专业的合成软件,被广泛用于电影、电视和广告制作中的后期合成和特效制作。 Nuke 15拥有强大的功能和灵活性,可以帮助用户处理各种复杂的合成任务,包括图像修复、色彩校正以及粒子特效等。它具备高效…

Java项目实战II基于Java+Spring Boot+MySQL的高校学科竞赛平台

目录 一、前言 二、技术介绍 三、系统实现 四、文档参考 五、核心代码 六、源码获取 全栈码农以及毕业设计实战开发,CSDN平台Java领域新星创作者,专注于大学生项目实战开发、讲解和毕业答疑辅导。获取源码联系方式请查看文末 一、前言 随着高等教…

【JavaScript】JS核心语法及函数

文章目录 一、初识 JS二、JS 核心语法2-1 变量2-2 数据类型typeofString 对象 2-3 数组创建数组常用属性方法 2-4 运算符号加号运算符 减号运算符 -比较运算符逻辑运算符 2-5 控制语句for-inbreakcontinue 三、函数3-1 常用系统函数3-2 自定义函数函数声明函数调用 3-3 创建对象…

家里养有宠物应该用哪款宠物空气净化器比较好?哪款最能吸毛?

这不是国庆节刚过吗,我的小猫终于是平安的度过了在农村生活的时光,之前还担心会不会被爸妈嫌弃,这下好了,嫌弃也过了国庆节。 但是一把猫咪带回出租房,由于几天不在房子里待,猫咪对熟悉的环境又特别激动&a…