循环神经网络RNN+长短期记忆网络LSTM 学习记录

循环神经网络(RNN)

RNN的的基础单元是一个循环单元,前部序列的信息经处理后,作为输入信息传递到后部序列
在这里插入图片描述
x为输入向量,y为输出向量,a为上一隐藏层的a与x通过激活函数得到的值,简言之,每一层神经元是通过输入x和上层得到的权重的a共同得到后续的结果
在这里插入图片描述
上述公式中,在这里插入图片描述为隐藏层的激活函数,在这里插入图片描述为常数,在这里插入图片描述为权重,由此得到a与y。


依次往后,可以得到
在这里插入图片描述

RNN常见的结构

多对多结构(常用于机器翻译)、多对一结构(常用与情感分析)、一对一结构、一对多结构(音乐生成)
在这里插入图片描述

双向循环神经网络

双向循环神经网络通过反向更新的隐藏层来利用方向时间信息
通常用来对序列抽取特征、填空,而不是预测未来
在这里插入图片描述
简言之,双向循环神经网络有两个隐藏层,一个用来输出给后面的神经元,一个反向输出给上一个神经元。
在这里插入图片描述

长短期记忆网络LSTM

参考文章:人人都能看懂的LSTM介绍及反向传播算法推导(非常详细)
RNN是想把所有信息都记住,不管是有用的信息还是没用的信息
LSTM则设计了一个记忆细胞,具备选择性记忆的功能,可以选择记忆重要信息,过滤噪声信息,减轻记忆负担,避免长期依赖问题。
如下图为LSTM结构
在这里插入图片描述

LSTM–遗忘门

在这里插入图片描述
遗忘门就是遗忘对当前状态来说没有用的信息,决定我们还需不需要记住前面状态的信息,即当前时刻的记忆状态有多少来自于前面的记忆。接受ht-1和xt通过Sigmoid 激活函数生成了ft。输出值ft均介于0和1之间,1表示"完全接受这个",0表示"完全忽略这个"

Ct-1是上一层的记忆细胞, 给与LSTM选择记忆功能,使得LSTM有能力选择每个时间步里面记忆的内容。

LSTM–输入门

在这里插入图片描述
输入门就是对当前输入ht-1和xt进行处理,来确定在当前状态哪些信息需要保存。
第一步,通过Sigmoid激活函数来决定什么值需要更新,即产生了it
第二步,通过tanh激活函数创建了一个新的候选值向量,会被加入到状态中。

LSTM–细胞状态更新

在这里插入图片描述
对记忆细胞的更新,忘记不想要的信息,然后在加上在这里插入图片描述根据我们决定更新每个状态的程度进行变化。

LSTM–输出门

在这里插入图片描述
最后我们要确定输出值,第一步,我们将信息输入到一个sigmoid激活函数来确定细胞状态的哪一部分将被输出。第二步,将第一步输出的信息ot与我们的Ct通过一个tanh激活函数最终得到我们确定输出的信息。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/424429.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

华为 HCIP-Datacom H12-821 题库 (23)

🐣博客最下方微信公众号回复题库,领取题库和教学资源 🐤诚挚欢迎IT交流有兴趣的公众号回复交流群 🦘公众号会持续更新网络小知识😼 1.以下关于 VRRP 基本概念的描述,错误的是哪些选项? A、一个虚拟路由器…

S32K3 工具篇6:如何将RTD EB工程导入到S32DS

S32K3 工具篇6:如何将RTD EB工程导入到S32DS 1. MCAL_Plugins->Link Source Resource Filters2. Includes3. Preprocessor4. Linker5. optimization6. main.c 这个主题实际上,之前已经有多人写过,并且写的很好,只是实际操作中&…

qt-creator-10.0.2之后版本的jom.exe编译速度慢下来了

1、Qt的IDE一直在升级,qt-creator的新版本下载地址 https://download.qt.io/official_releases/qtcreator/ 2、本人一直用的是qt-creator-10.0.2版本,官网历史仓库可以下载安装包qt-creator-opensource-windows-x86_64-10.0.2.exe https://download.qt…

URP 线性空间 ui资源制作规范

前言: 关于颜色空间的介绍,可参阅 unity 文档 Color space URP实现了基于物理的渲染,为了保证光照计算的准确,需要使用线性空间; 使用线性空间会带来一个问题,ui资源在unity中进行透明度混合时&#xff…

COMP 6714-Info Retrieval and Web Search笔记week1

哭了哭了,这周唯一能听懂的就这门 目录 IR(Information Retrieval)是什么?IR的基本假设Unstructured (text) vs. structuredDocuments vs. Database Records比较文本(Comparing Text)IR的范围(Dimensions of IR)IR的任…

YoloV10改进策略:上采样改进|动态上采样|轻量高效,即插即用(适用于分类、分割、检测等多种场景)

摘要 本文使用动态上采样改进YoloV10,动态上采样是今天最新的上采样改进方法,具有轻量高效的特点,经过验证,在多个场景上均有大幅度的涨点,而且改进方法简单,即插即用! 论文:《DySample:Learning to Upsample by Learning to Sample》 论文:https://arxiv.org/pdf/…

fmql之ubuntu移植

官方资料:ubuntu18的压缩包 目的:放到SD卡中启动ubuntu(官方是放在emmc中) 教程:99_FMQL45_大黄蜂开发板跑ubuntu18.04.docx 所需文件 其中,format_emmc_ext4.txt对emmc的分区是512M(放上述文…

C++ | Leetcode C++题解之第397题整数替换

题目: 题解: class Solution { public:int integerReplacement(int n) {int ans 0;while (n ! 1) {if (n % 2 0) {ans;n / 2;}else if (n % 4 1) {ans 2;n / 2;}else {if (n 3) {ans 2;n 1;}else {ans 2;n n / 2 1;}}}return ans;} };

如何查看串口被哪个程序占用?截止目前最方便的方法

痛点:串口因为某种原因被占用,如何找到罪魁祸首? 做开发的小伙伴们,经常会遇到这样的问题:串口因为某种原因被占用,导致无法通讯,但是又找不到被哪个程序占用。只有重启电脑,才能解…

CSS“多列布局”(补充)——WEB开发系列35

多列布局是一种非常常见的布局方式,适用于内容丰富的页面,如新闻网站、杂志或博客。 一、CSS多列布局概述 CSS多列布局允许我们将内容分成多个垂直列,使页面布局更加灵活和多样化。多列布局的主要属性包括 ​​column-count​​、​​column…

「数组」堆排序 / 大根堆优化(C++)

目录 概述 核心概念:堆 堆结构 数组存堆 思路 算法过程 up() down() Code 优化方案 大根堆优化 Code(pro) 复杂度 总结 概述 在「数组」快速排序 / 随机值优化|小区间插入优化(C)中,我们介绍了三种基本排序中的冒泡…

Java工具插件

一、springboot集成mqtt订阅 阿里云MQTT使用教程_复杂的世界311的博客-CSDN博客_阿里云mqtt 阿里云创建MQTT服务 先找到产品与服务,然后选择物联网平台,找到公共实例,创建一个产品。 创建产品 然后在左侧下拉栏找到设备管理,在设备管理下拉栏找到设备,然后添加设备。添加…

博客建站9 - hexo网站如何提升markdown文档的编辑效率和体验

1. 本网站的系统架构2. 场景概述3. 影响效率的问题和解决方案 3.1. 图片插入-根据文章来分类管理 3.1.1. 效率问题3.1.2. 解决方案 3.2. 图片插入-从剪贴板中插入图片 3.2.1. 效率问题3.2.2. 解决方案 3.3. 图片插入-在VSCode中预览图片 3.3.1. 效率问题3.3.2. 解决方案 3.4. 提…

【软考】设计模式之责任链模式

目录 1. 说明2. 应用场景3. 结构图4. 构成5. 适用性6. 优点7. 缺点8. java示例 1. 说明 1.使多个对象都有机会处理请求,从而避免请求的发送者和接收者之间的耦合关系。2.将这些对象连成一条链,并沿着这条链传递该请求,直到有一个对象处理它为…

个人学习笔记7-5:动手学深度学习pytorch版-李沐

#人工智能# #深度学习# #语义分割# #计算机视觉# #神经网络# 计算机视觉 13.10 转置卷积 例如,卷积层和汇聚层,通常会减少下采样输入图像的空间维度(高和宽)。然而如果输入和输出图像的空间维度相同,在以像素级分类…

c++基础入门二

C基础入门(二) 一、函数重载 在自然语言中,一句话或者一个词有不同的意思。例如:国乒和别人比赛是“谁也赢不了”,而国足和别人比赛是“谁也赢不了” 函数重载:是函数的一种特殊情况,C允许在同一作用域中声明几个功…

浪潮信息金风慧能:打造智慧新能源运营平台

近来,浪潮信息携手北京金风慧能技术有限公司(简称“金风慧能”),共同发布了新能源场站集控中心的创新解决方案。该方案深度融合了浪潮信息的前沿服务器技术、软硬件一体化超融合方案及边缘计算产品与金风慧能自主研发的GW SCADA S…

C++进阶:多态

✨✨所属专栏:C✨✨ ✨✨作者主页:嶔某✨✨ 多态的概念 多态(polymorphism)的概念:通俗来说,就是多种形态。多态分为编译时多态(静态多态)和运⾏时多态(动态多态),这⾥我们重点讲运⾏时多态。 编译时多态(静态多态)主…

车机中 Android Audio 音频常见问题分析方法实践小结

文章目录 前言1. 无声2. 断音3. 杂音4. 延迟播放5. 焦点问题6. 无声问题(连上 BT )其他完善中…… 前言 本文主要总结了一下车机开发中遇到的 Audio 有关的问题,同时参考网上的一案例,由于Audio 模块出现音频问题的场景很多,对每一个出现的问…

气压测试实验(用IIC)

I2C: 如果没有I2c这类总线,连接方法可能会如下图: 单片机所有的通讯协议,无非是建立在引脚(高低电平的变换高低电平持续的时间)这二者的组合上,i2c 多了一个clock线,负责为数据传输打节拍。 (i2…