【模型】RNN模型详解

1. 模型架构

RNN（Recurrent Neural Network）是一种具有循环结构的神经网络，它能够处理序列数据。与传统的前馈神经网络不同，RNN通过将当前时刻的输出与前一时刻的状态（或隐藏层）作为输入传递到下一个时刻，使得它能够保留之前的信息并用于当前的决策。
在这里插入图片描述

  • 输入层：输入数据的每一时刻（如时间序列数据的每个时间步）都会传递到网络。
  • 隐藏层：RNN的核心是循环结构，它将先前的隐藏状态与当前的输入结合，生成当前的隐藏状态。通常，RNN的隐藏层包含多个神经元，且它们的状态是由上一时刻的输出状态递归计算得来的。
  • 输出层：基于隐藏层的输出，生成预测结果。
    在这里插入图片描述

RNN通过共享参数和权重来处理任意长度的序列输入，能够用于语言模型、时间序列预测等任务。

2. 算法实现（PyTorch）

在PyTorch中实现一个简单的RNN模型，通常需要以下几个步骤：

import torch
import torch.nn as nn
import torch.optim as optim
import torch.nn.functional as F
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt# 定义RNN模型类
class RNN(nn.Module):def __init__(self, input_size, hidden_size, num_layers, forecast_horizon):super(RNN, self).__init__()self.input_size = input_sizeself.hidden_size = hidden_sizeself.num_layers = num_layersself.forecast_horizon = forecast_horizon# 定义RNN层self.rnn = nn.RNN(input_size=self.input_size, hidden_size=self.hidden_size,num_layers=self.num_layers, batch_first=True)# 定义全连接层self.fc1 = nn.Linear(self.hidden_size, 64)self.fc2 = nn.Linear(64, self.forecast_horizon)  # 输出5步的数据# Dropout层，防止过拟合self.dropout = nn.Dropout(0.2)def forward(self, x):# 初始化隐藏状态h_0 = torch.randn(self.num_layers, x.size(0), self.hidden_size).to(device)# 通过RNN层进行前向传播out, _ = self.rnn(x, h_0)# 只取最后一个时间步的输出out = F.relu(self.fc1(out[:, -1, :]))  # 输出通过全连接层1并激活out = self.fc2(out)  # 输出通过全连接层2，预测未来5步的数据return out# 准备训练数据
# 假设你已经准备好了数据，X_train, X_test, y_train, y_test等
# 并且 X_train, X_test 是形状为 (samples, time_steps, features) 的三维数组# 设置设备，使用GPU（如果可用）
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
print(f'Using device: {device}')# 将数据转换为torch tensors，并转移到设备（GPU/CPU）
X_train_tensor = torch.Tensor(X_train).to(device)
X_test_tensor = torch.Tensor(X_test).to(device)# 将y_train和y_test调整形状为(batch_size, forecast_horizon)，即去掉最后一维
y_train_tensor = torch.Tensor(y_train).squeeze(-1).to(device)  # 将 y_train.shape 从 (batch_size, forecast_horizon, 1) -> (batch_size, forecast_horizon)
y_test_tensor = torch.Tensor(y_test).squeeze(-1).to(device)    # 将 y_test.shape 从 (batch_size, forecast_horizon, 1) -> (batch_size, forecast_horizon)# 初始化RNN模型
input_size = X_train.shape[2]  # 特征数量
hidden_size = 64  # 隐藏层神经元数量
num_layers = 2  # RNN层数
forecast_horizon = 5  # 预测的目标步数model = RNN(input_size, hidden_size, num_layers, forecast_horizon).to(device)# 定义损失函数和优化器
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)# 训练模型
def train_model(model, X_train, y_train, X_test, y_test, epochs=2000, batch_size=1024):train_loss = []val_loss = []for epoch in range(epochs):model.train()optimizer.zero_grad()# 前向传播output_train = model(X_train)# 计算损失loss = criterion(output_train, y_train)loss.backward()optimizer.step()train_loss.append(loss.item())# 计算验证集损失model.eval()with torch.no_grad():output_val = model(X_test)val_loss_value = criterion(output_val, y_test)val_loss.append(val_loss_value.item())if (epoch + 1) % 100 == 0:print(f'Epoch [{epoch+1}/{epochs}], Train Loss: {loss.item():.4f}, Validation Loss: {val_loss_value.item():.4f}')# 绘制训练损失和验证损失曲线plt.plot(train_loss, label='Train Loss')plt.plot(val_loss, label='Validation Loss')plt.title('Loss vs Epochs')plt.xlabel('Epochs')plt.ylabel('Loss')plt.legend()plt.show()# 训练模型
train_model(model, X_train_tensor, y_train_tensor, X_test_tensor, y_test_tensor, epochs=2000)# 评估模型
def evaluate_model(model, X_test, y_test):model.eval()with torch.no_grad():y_pred = model(X_test)y_pred_rescaled = y_pred.cpu().numpy()y_test_rescaled = y_test.cpu().numpy()# 计算均方误差mse = mean_squared_error(y_test_rescaled, y_pred_rescaled)print(f'Mean Squared Error: {mse:.4f}')return y_pred_rescaled, y_test_rescaled# 评估模型性能
y_pred_rescaled, y_test_rescaled = evaluate_model(model, X_test_tensor, y_test_tensor)# 保存模型
def save_model(model, path='./model_files/multisteos_rnn_model.pth'):torch.save(model.state_dict(), path)print(f'Model saved to {path}')# 保存训练好的模型
save_model(model)

1.代码解析

（1）反向传播
    def forward(self, x):# 初始化隐藏状态h_0 = torch.randn(self.num_layers, x.size(0), self.hidden_size).to(device)# 通过RNN层进行前向传播out, _ = self.rnn(x, h_0)# 只取最后一个时间步的输出out = F.relu(self.fc1(out[:, -1, :]))  # 输出通过全连接层1并激活out = self.fc2(out)  # 输出通过全连接层2，预测未来5步的数据return out
  1. 此处h_0是RNN的初始隐藏状态，形状为 (num_layers, batch_size, hidden_size)，它存储了每一层在时间步 t=0 的初始隐藏状态；
  2. out 中存储的是 最后一层的所有时间步的隐藏状态，PyTorch 的 nn.RNN 系列实现中，out 始终返回的是 最后一层 的隐藏状态；例如，3层的 RNN，out 中的数据是第3层的隐藏状态，前两层的状态不会在 out 中；
  3. out[:, -1, :] 取的是最后一层并且最后一个时间步的隐藏状态，这是因为在许多任务中（如预测未来值），最后时间步的隐藏状态通常包含了整个序列的信息，因此可以作为最终的特征表示；
  4. _ 是 所有层 的最后一个时间步的隐藏状态，通常会有多个层（即 num_layers > 1 时），其形状为 (num_layers, batch_size, hidden_size)；

3. 训练使用方式

  • 数据准备：通常RNN处理时间序列数据。数据需要转换成合适的格式，即将每个数据点按时间顺序组织成序列样本。
  • 损失函数：对于回归任务，通常使用均方误差（MSE），而分类任务则使用交叉熵损失。
  • 优化器：使用Adam或SGD等优化器来更新网络权重。
  • 批处理和梯度裁剪：RNN的训练可能遇到梯度爆炸或梯度消失的问题，可以使用梯度裁剪（gradient clipping）来缓解。

4. 模型优缺点

优点：

  • 时间序列建模：RNN可以处理具有时序依赖的数据（如语音、文本、股市等）。
  • 共享权重：RNN通过在时间步之间共享权重，减少了模型的参数数量。
  • 灵活性：RNN可以处理不同长度的输入序列。

缺点：

  • 梯度消失/爆炸：在长序列中，RNN容易出现梯度消失或梯度爆炸的问题，导致训练困难。
  • 训练效率低：传统的RNN难以捕捉长时间跨度的依赖关系，训练速度较慢。
  • 局部依赖：RNN在捕获远程依赖时表现较差，容易受到短期记忆的影响。

5. 模型变种

  • LSTM (Long Short-Term Memory)

    • LSTM 是RNN的一种变种，通过引入“记忆单元”来解决标准RNN中的梯度消失问题。它使用了三个门控机制——输入门、遗忘门和输出门，来控制信息的存储与更新，从而能够捕捉长时间跨度的依赖。

  • GRU (Gated Recurrent Unit)

    • GRU是LSTM的一个简化版本，具有类似的性能但较少的参数。它合并了LSTM中的遗忘门和输入门为一个“更新门”，使得模型更为简洁。

  • Bidirectional RNN

    • 双向RNN在处理序列数据时，通过同时考虑从前向和反向两个方向的信息，能够提高模型的表达能力，尤其在文本处理任务中有较好表现。

  • Attention机制

    • Attention机制不仅在NLP任务中广泛使用，还被引入到RNN中，帮助模型关注输入序列中最重要的部分，从而有效处理长时间序列和远程依赖问题。

  • Transformer

    • Transformer模型去除了传统RNN中的循环结构，完全基于自注意力机制（self-attention）来建模序列的依赖关系，避免了RNN的梯度消失问题，并能够并行处理序列。

6. 模型特点

  • 时序数据建模：RNN特别适用于处理时序数据，可以理解序列中前后时间步之间的依赖关系。
  • 状态更新：RNN通过隐藏层的状态传递，实现了对历史信息的持续更新和记忆。
  • 参数共享：与传统的前馈神经网络不同，RNN在每个时间步使用相同的权重，因此模型在处理长序列时参数效率较高。

7. 应用场景

  • 自然语言处理：
    • 语言模型：RNN可以用于生成语言模型，如生成文本或对句子进行语言建模。
    • 机器翻译：通过编码器-解码器结构，RNN（尤其是LSTM和GRU）在序列到序列（seq2seq）任务中非常有效。
    • 语音识别：将语音信号转化为文字的过程中，RNN用于捕捉语音的时序特性。
  • 时间序列预测：
    • 股市预测：RNN可以用于基于历史股市数据预测未来价格。
    • 天气预测：使用RNN模型预测未来几天的气候变化。
    • 销售预测：基于历史销售数据预测未来销售量。
  • 生成模型：
    • 文本生成：基于RNN的文本生成模型（如char-level语言模型）可以生成与输入数据风格相似的文本。
    • 音乐生成：RNN可以用来生成音乐序列，模仿人类作曲的风格。
  • 视频分析：
    • 视频分类：利用RNN在视频帧序列中的时序特性进行分类。
    • 动作识别：RNN可以捕捉视频序列中的动作模式，用于人类行为分析。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/8040.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《FreqMamba: 从频率角度审视图像去雨问题》学习笔记

《FreqMamba: 从频率角度审视图像去雨问题》学习笔记

paper：FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining GitHub：GitHub - aSleepyTree/FreqMamba 目录 摘要 1、介绍 2、相关工作 2.1 图像去雨 2.2 频率分析 2.3 状态空间模型 3、方法 3.1 动机 3.2 预备知识 3…
阅读更多...
iic、spi以及uart

iic、spi以及uart

何为总线？ 连接多个部件的信息传输线，是部件共享的传输介质 总线的作用？ 实现数据传输，即模块之间的通信 总线如何分类？ 根据总线连接的外设属于内部外设还是外部外设将总线可以分为片内总线和片外总线 可分为数…
阅读更多...
Android WebView 中网页被劫持的原因及解决方案

Android WebView 中网页被劫持的原因及解决方案

文章目录 一、原因分析二、解决方案一览三、解决方案代码案例3.1 使用 HTTPS3.2 验证 URL3.3 禁用 JavaScript3.4 使用安全的 WebView 设置3.5 监控网络请求3.6 使用安全的 DNS 四、案例深入分析4.1 问题4.2 分析 五、结论 在 Android 应用开发中，WebView 是一个常用…
阅读更多...
Linux——网络（udp）

Linux——网络（udp）

文章目录 目录 文章目录 前言 一、upd函数及接口介绍 1. 创建套接字 - socket 函数 2. 绑定地址和端口 - bind 函数 3. 发送数据 - sendto 函数 4. 接收数据 - recvfrom 函数 5. 关闭套接字 - close 函数 二、代码示例 1.服务端 2.客户端 总结 前言 Linux——网络基础&#xf…
阅读更多...
C语言学习强化

C语言学习强化

前言 数据的逻辑结构包括： 常见数据结构： 线性结构：数组、链表、队列、栈 树形结构：树、堆 图形结构：图 一、链表 链表是物理位置不连续，逻辑位置连续 链表的特点： 1.链表没有固定的长度…
阅读更多...
【ArcGIS微课1000例】0141：提取多波段影像中的单个波段

【ArcGIS微课1000例】0141：提取多波段影像中的单个波段

文章目录 一、波段提取函数二、加载单波段导出问题描述：如下图所示，img格式的时序NDVI数据有24个波段。现在需要提取某一个波段，该怎样操作？ 一、波段提取函数 首先加载多波段数据。点击【窗口】→【影像分析】。 选择需要处理的多波段影像，点击下方的【添加函数】。 在多…
阅读更多...
css3 svg制作404页面动画效果HTML源码

css3 svg制作404页面动画效果HTML源码

源码介绍 css3 svg制作404页面动画效果HTML源码&#xff0c;源码由HTMLCSSJS组成&#xff0c;记事本打开源码文件可以进行内容文字之类的修改&#xff0c;双击html文件可以本地运行效果 效果预览 源码如下 <!doctype html> <html> <head> <meta charse…
阅读更多...
R语言学习笔记之高效数据操作

R语言学习笔记之高效数据操作

一、概要 数据操作是R语言的一大优势&#xff0c;用户可以利用基本包或者拓展包在R语言中进行复杂的数据操作&#xff0c;包括排序、更新、分组汇总等。R数据操作包&#xff1a;data.table和tidyfst两个扩展包。 data.table是当前R中处理数据最快的工具&#xff0c;可以实现快…
阅读更多...
利用Qt5.15.2编写Android程序时遇到的问题及解决方法

利用Qt5.15.2编写Android程序时遇到的问题及解决方法

文章目录 背景1.文件读写 背景 目前我用的是Qt5.15.2来编写Qt程序&#xff0c;环境的配置看我这篇文章【Qt5.15.2配置Android开发环境】 项目中的一些配置的截图&#xff1a; 1.文件读写 假如直接用 QFileDialog::getExistingDirectory来获取路径的话&#xff0c;会得到类…
阅读更多...
【学术会议-第五届机械设计与仿真国际学术会议（MDS 2025) 】前端开发：技术与艺术的完美融合

【学术会议-第五届机械设计与仿真国际学术会议（MDS 2025) 】前端开发：技术与艺术的完美融合

重要信息 大会官网&#xff1a;www.icmds.net 大会时间&#xff1a;2025年02月28日-03月02日 大会地点&#xff1a;中国-大连 会议简介 2025年第五届机械设计与仿真国际学术会议&#xff08;MDS 2025) 将于2025年02月28-3月02日在中国大连召开。MDS 2025将围绕“机械设计”…
阅读更多...
leetcode刷题记录（一百）——121. 买卖股票的最佳时机

leetcode刷题记录（一百）——121. 买卖股票的最佳时机

&#xff08;一&#xff09;问题描述 121. 买卖股票的最佳时机 - 力扣&#xff08;LeetCode&#xff09;121. 买卖股票的最佳时机 - 给定一个数组 prices &#xff0c;它的第 i 个元素 prices[i] 表示一支给定股票第 i 天的价格。你只能选择 某一天 买入这只股票&#xff0c;并…
阅读更多...
亲测有效！解决PyCharm下PyEMD安装报错 ModuleNotFoundError: No module named ‘PyEMD‘

亲测有效！解决PyCharm下PyEMD安装报错 ModuleNotFoundError: No module named ‘PyEMD‘

解决PyCharm下PyEMD安装报错 PyEMD安装报错解决方案 PyEMD安装报错 PyCharm下通过右键自动安装PyEMD后运行报错ModuleNotFoundError: No module named ‘PyEMD’ 解决方案 通过PyCharm IDE python package搜索EMD-signal&#xff0c;选择版本后点击“install”执行安装
阅读更多...
上海亚商投顾：沪指冲高回落 大金融板块全天强势 上海亚商投

上海亚商投顾：沪指冲高回落 大金融板块全天强势 上海亚商投

上海亚商投顾前言&#xff1a;无惧大盘涨跌&#xff0c;解密龙虎榜资金&#xff0c;跟踪一线游资和机构资金动向&#xff0c;识别短期热点和强势个股。 一&#xff0e;市场情绪 市场全天冲高回落&#xff0c;深成指、创业板指午后翻绿。大金融板块全天强势&#xff0c;天茂集团…
阅读更多...
【unity游戏开发之InputSystem——02】InputAction的使用介绍（基于unity6开发介绍）

【unity游戏开发之InputSystem——02】InputAction的使用介绍（基于unity6开发介绍）

文章目录 前言一、InputAction简介1、InputAction是什么&#xff1f;2、示例 二、监听事件started 、performed 、canceled1、启用输入检测2、操作监听相关3、关键参数 CallbackContext4、结果 三、InputAction参数相关1、点击齿轮1.1 Actions 动作&#xff08;1&#xff09;动…
阅读更多...
ubuntu22安装issac gym记录

ubuntu22安装issac gym记录

整体参考&#xff1a;https://blog.csdn.net/Yakusha/article/details/144306858 安装完成后的整体版本信息 ubuntu&#xff1a;22.04内核&#xff1a;6.8.0-51-generic显卡&#xff1a;NVIDIA GeForce RTX 3050 OEM显卡驱动&#xff1a;535.216.03cuda&#xff1a;12.2cudnn&…
阅读更多...
Linux下Ubuntun系统报错find_package(BLAS REQUIRED)找不到

Linux下Ubuntun系统报错find_package(BLAS REQUIRED)找不到

Linux下Ubuntun系统报错find_package(BLAS REQUIRED)找不到 这次在windows的WSL2中遇到了一个非常奇怪的错误&#xff0c;就是 CMake Error at /usr/share/cmake-3.22/Modules/FindPackageHandleStandardArgs.cmake:230 (message):Could NOT find BLAS (missing: BLAS_LIBRAR…
阅读更多...
15天基础内容-5

15天基础内容-5

day13 【String类、StringBuilder类】 主要内容 String类常用方法【重点】 String类案例【重点】 StringBuilder类【重点】 StringBuilder类常用方法【重点&#xff1a; append】 StringBuilder类案例【理解】 第一章String类 1.1 String类的判断方法 String类实现判断功能…
阅读更多...
CommonAPI学习笔记-1

CommonAPI学习笔记-1

CommonAPI学习笔记-1 一. 整体结构 CommonAPI分为两层&#xff1a;核心层和绑定层&#xff0c;使用了Franca来描述服务接口的定义和部署&#xff0c;而Franca是一个用于定义和转换接口的框架&#xff08;https://franca.github.io/franca/&#xff09;。 ​ 核心层和通信中间…
阅读更多...
单片机基础模块学习——DS18B20温度传感器芯片

单片机基础模块学习——DS18B20温度传感器芯片

不知道该往哪走的时候&#xff0c;就往前走。 一、DS18B20芯片原理图 该芯片共有三个引脚&#xff0c;分别为 GND——接地引脚DQ——数据通信引脚VDD——正电源 数据通信用到的是1-Wier协议 优点&#xff1a;占用端口少&#xff0c;电路设计方便 同时该协议要求通过上拉电阻…
阅读更多...
Golang Gin系列-9：Gin 集成Swagger生成文档

Golang Gin系列-9：Gin 集成Swagger生成文档

文档一直是一项乏味的工作&#xff08;以我个人的拙见&#xff09;&#xff0c;但也是编码过程中最重要的任务之一。在本文中&#xff0c;我们将学习如何将Swagger规范与Gin框架集成。我们将实现JWT认证&#xff0c;请求体作为表单数据和JSON。这里唯一的先决条件是Gin服务器。…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023