基于 RNN 的语言模型

基于 RNN 的语言模型

循环神经网络(Recurrent Neural Network, RNN)是一类网络连接中包含环路的
神经网络的总称。
给定一个序列,RNN 的环路用于将历史状态叠加到当前状态上。沿着时间维度,历史状态被循环累积,并作为预测未来状态的依据。RNN 可以基于历史规律,对未来进行预测。
基于 RNN 的语言模型,以词序列作为输入,基于被循环编码的上文和当前词来预测下一个词出现的概率。

循环神经网络 RNN

按照推理过程中信号流转的方向,神经网络的正向传播范式可分为两大类:前馈传播范式和循环传播范式。
采用前馈传播范式的神经网络可以统称为前馈神经网络(Feed-forward Neural Network,FNN),
而采用循环传播范式的神经网络被统称为循环神经网络(Recurrent Neural Network, RNN)
在这里插入图片描述

前馈神经网络(FNN)

  • 计算是逐层向前的,没有反馈连接。
  • 输出仅依赖于当前输入,不考虑历史信息
计算公式
  1. 输入层

    • 假设输入向量为 x = [ x 1 , x 2 , . . . , x n ] \mathbf{x} = [x_1, x_2, ..., x_n] x=[x1,x2,...,xn]
  2. 隐藏层(如果有多个隐藏层,这个过程会重复):

    • 每个神经元的加权输入计算为 z = w 1 x 1 + w 2 x 2 + . . . + w n x n + b z = w_1x_1 + w_2x_2 + ... + w_nx_n + b z=w1x1+w2x2+...+wnxn+b,其中 w i w_i wi是权重, b b b是偏置项。
    • 激活函数 g ( z ) g(z) g(z)被应用于加权输入,以产生神经元的输出。常见的激活函数包括 Sigmoid、Tanh、ReLU 等。
    • 因此,隐藏层的输出 h h h可以表示为 h = g ( z ) = g ( w 1 x 1 + w 2 x 2 + . . . + w n x n + b ) h = g(z) = g(w_1x_1 + w_2x_2 + ... + w_nx_n + b) h=g(z)=g(w1x1+w2x2+...+wnxn+b)
  3. 输出层

    • 输出层的计算与隐藏层类似,但是输出层的输出通常不经过非线性激活函数(如果是分类问题,最后一层可能使用 Softmax 函数)。
    • 输出 o \mathbf{o} o可以表示为 o = f ( V h + b ) \mathbf{o} = f(Vh + b) o=f(Vh+b),其中 V V V是从隐藏层到输出层的权重矩阵, h h h是隐藏层的输出向量, b b b是输出层的偏置项, f f f是输出层的激活函数(对于回归问题, f f f可以是恒等函数)。

以一个具体的数学表达式来表示一个简单的FNN模型的前向传播过程:

假设有一个输入向量 x \mathbf{x} x,一个隐藏层,其权重矩阵为 W \mathbf{W} W,偏置向量为 b \mathbf{b} b,激活函数为 g g g,以及一个输出层,其权重矩阵为 V \mathbf{V} V,偏置向量为 b ′ \mathbf{b}' b,输出层激活函数为 f f f

  1. 计算隐藏层的加权输入和输出:
    z = W x + b \mathbf{z} = \mathbf{W}\mathbf{x} + \mathbf{b} z=Wx+b
    h = g ( z ) \mathbf{h} = g(\mathbf{z}) h=g(z)
  2. 计算输出层的加权输入和输出:
    o = V h + b ′ \mathbf{o} = \mathbf{V}\mathbf{h} + \mathbf{b}' o=Vh+b
    y = f ( o ) \mathbf{y} = f(\mathbf{o}) y=f(o)
    其中, y \mathbf{y} y是网络的最终输出。这个过程是逐层向前的,每一层的输出仅依赖于当前层的输入和权重,而不依赖于网络中其他层的历史信息。

循环神经网络(RNN)

RNN 的工作方式:

  • 输入序列被逐个元素地串行输入。具有循环连接,可以将之前的状态信息传递到后续的计算中。
  • 每个时间步的隐状态是前一个隐状态和当前输入的函数。输出不仅依赖于当前输入,还依赖于之前的所有输入,因为它们被编码在隐状态中。
  • 输出是当前隐状态的函数。
基本计算公式:
  1. 隐藏状态更新公式
    h t = f ( W h h h t − 1 + W x h x t + b h ) h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h) ht=f(Whhht1+Wxhxt+bh)

    • h t h_t ht是时间步 t t t的隐藏状态。
    • h t − 1 h_{t-1} ht1是时间步 t − 1 t-1 t1的隐藏状态。
    • x t x_t xt是时间步 t t t的输入。
    • W h h W_{hh} Whh是隐藏状态到隐藏状态的权重矩阵。
    • W x h W_{xh} Wxh是输入到隐藏状态的权重矩阵。
    • b h b_h bh是隐藏状态的偏置项。
    • f f f是激活函数,常用的激活函数包括tanh、ReLU等。
  2. 输出计算公式
    y t = g ( W h y h t + b y ) y_t = g(W_{hy}h_t + b_y) yt=g(Whyht+by)

    • y t y_t yt是时间步 t t t的输出。
    • W h y W_{hy} Why是隐藏状态到输出的权重矩阵。
    • b y b_y by是输出的偏置项。
    • g g g是输出层的激活函数,对于分类问题可能是softmax函数,对于回归问题可能是线性函数。

梯度衰减

问题描述
在RNN中,梯度需要通过时间反向传播,每一步的梯度计算都会涉及到前一步的权重。如果权重的导数(梯度)是小于1的正数,那么随着时间步的增加,梯度会指数级减少。这意味着对于较早时间步的输入,网络很难学习到它们对最终输出的影响。

解决方案

  1. 使用ReLU激活函数:相比于tanh或sigmoid,ReLU激活函数可以减轻梯度衰减问题,因为它的导数在正区间内是常数。
  2. 权重初始化:使用如Glorot初始化(Xavier初始化)或He初始化等方法,可以更好地控制梯度的大小。
  3. 梯度裁剪(Gradient Clipping):通过限制梯度的大小来防止梯度爆炸,间接缓解梯度衰减。
  4. 使用LSTM或GRU:这两种RNN的变体通过引入门控机制来减少梯度衰减的影响。

梯度爆炸

问题描述
与梯度衰减相反,梯度爆炸是指在反向传播过程中,梯度值随着时间步的增加而变得非常大,导致权重更新过大,从而使学习过程变得不稳定。

解决方案

  1. 梯度裁剪:在每次更新前,将梯度限制在一个合理的范围内,以防止梯度爆炸。
  2. 使用LSTM或GRU:这两种结构通过门控机制来控制信息流,从而减少梯度爆炸的风险。
  3. 正则化:如L1、L2正则化,可以限制权重的大小,间接控制梯度的大小。
  4. 使用批量归一化(Batch Normalization):在RNN中应用批量归一化可以帮助稳定梯度。
其他注意事项
  • 截断反向传播(Truncated Backpropagation Through Time, TBPTT):这种方法不是在整个序列上进行反向传播,而是在序列的一个小片段上进行,可以减少计算量并减轻梯度问题。
  • 调整学习率:使用自适应学习率算法,如Adam,可以帮助更好地控制学习过程。

基于循环神经网络(RNN)的语言模型

基于循环神经网络(RNN)的语言模型是一种序列生成模型,它能够根据当前词和之前的隐藏状态来预测下一个词的概率。

  1. 条件概率

    • 给定词序列 { w 1 , w 2 , … , w N } \{w_1, w_2, \ldots, w_N\} {w1,w2,,wN},RNN语言模型预测下一个词 w i + 1 w_{i+1} wi+1 出现的条件概率是 P ( w i + 1 ∣ w 1 : i ) = P ( w i + 1 ∣ w i , h i − 1 ) P(w_{i+1} | w_1:i) = P(w_{i+1} | w_i, h_{i-1}) P(wi+1w1:i)=P(wi+1wi,hi1)
  2. 序列的整体概率

    • 整个词序列 { w 1 , w 2 , … , w N } \{w_1, w_2, \ldots, w_N\} {w1,w2,,wN} 出现的概率可以表示为:
      P ( w 1 : N ) = ∏ i = 1 N − 1 P ( w i + 1 ∣ w i , h i − 1 ) P(w_1:N) = \prod_{i=1}^{N-1} P(w_{i+1} | w_i, h_{i-1}) P(w1:N)=i=1N1P(wi+1wi,hi1)
  3. 输出向量

    • RNN的输出是一个向量,其中每一维代表词典中对应词的概率。如果词典 D D D 中有 ∣ D ∣ |D| D 个词,那么输出向量 o i o_i oi 可以表示为:
      o i = { o i [ w ^ d ] } d = 1 ∣ D ∣ o_i = \{ o_i[\hat{w}^d] \}_{d=1}^{|D|} oi={oi[w^d]}d=1D
    • 其中, o i [ w ^ d ] o_i[\hat{w}^d] oi[w^d] 表示词典中的词 w ^ d \hat{w}^d w^d 出现的概率。
  4. 序列的整体概率计算

    • 利用输出向量,整个序列的概率可以表示为:
      P ( w 1 : N ) = ∏ i = 1 N o i [ w i + 1 ] P(w_1:N) = \prod_{i=1}^{N} o_i[w_{i+1}] P(w1:N)=i=1Noi[wi+1]
    • 这里 o i [ w i + 1 ] o_i[w_{i+1}] oi[wi+1] 是在第 i i i 步输出中,词 w i + 1 w_{i+1} wi+1 的概率。

损失函数和训练

  1. 交叉熵损失

    • 使用交叉熵损失函数来衡量模型预测的概率分布与真实词的概率分布之间的差异:
      l C E ( o i ) = − ∑ d = 1 ∣ D ∣ I ( w ^ d = w i + 1 ) log ⁡ o i [ w ^ d ] l_{CE}(o_i) = -\sum_{d=1}^{|D|} I(\hat{w}_d = w_{i+1}) \log o_i[\hat{w}_d] lCE(oi)=d=1DI(w^d=wi+1)logoi[w^d]
    • 其中 I ( ⋅ ) I(\cdot) I() 是指示函数,当 w ^ d = w i + 1 \hat{w}_d = w_{i+1} w^d=wi+1 时为1,否则为0。
  2. 总损失

    • 训练集 S S S 的总损失是所有样本损失的平均值:
      L ( S , W I , W H , W O ) = 1 ∣ S ∣ ∑ s = 1 ∣ S ∣ ∑ i = 1 N l C E ( o i , s ) L(S, W_I, W_H, W_O) = \frac{1}{|S|} \sum_{s=1}^{|S|} \sum_{i=1}^{N} l_{CE}(o_{i,s}) L(S,WI,WH,WO)=S1s=1Si=1NlCE(oi,s)
    • 这里 o i , s o_{i,s} oi,s 是第 s s s 个样本在第 i i i 步的输出。

文本生成和训练策略

  1. 自回归(Autoregressive)

    • 在文本生成中,模型通过迭代预测下一个词来生成文本。
      (1) 错误级联放大
      选用模型自己生成的词作为输入可能会有错误,这样的错误循环输入,将会不断的放大错误,导致模型不能很好拟合训练集;
      (2) 串行计算效率低
      因为下一个要预测的词依赖上一次的预测,每次预测之间是串行的,难以进行并行加速。
  2. Teacher Forcing

    • 在训练过程中,使用真实的下一个词作为输入,而不是模型预测的词,以提高训练效率和效果。
    • 在 TeacherForcing 中,每轮都仅将输出结果与“标准答案”(Ground Truth)进行拼接作为下一轮的输入。
  3. 曝光偏差(Exposure Bias)

    • 由于训练和推理过程中的差异导致的偏差。
    • Teacher Forcing 的训练方式将导致曝光偏差(Exposure Bias)的问题。
    • 曝光偏差是指 Teacher Forcing 训练模型的过程和模型在推理过程存在差异
    • TeacherForcing 在训练中,模型将依赖于“标准答案”进行下一次的预测,但是在推理预测中,模型“自回归”的产生文本,没有“标准答案”可参考。
      Scheduled Sampling
      一种减少曝光偏差的方法,通过在训练过程中逐渐引入模型自己生成的词。
      循序渐进的使用一小部分模型自己生成的词代替“标准答案”,在训练过程中对推理中无“标准答案”的情况进行预演。

RNN语言模型通过这些机制来学习序列数据的模式,并能够用于文本生成等任务。然而,由于RNN的循环迭代本质,它在处理长序列时训练较慢,且不易进行并行计算。因此,后续的研究中出现了基于Transformer的模型,它能够更有效地处理这些问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/464464.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

嵌入式硬件工程师的职业发展规划

嵌入式硬件工程师可以按照以下阶段进行职业发展规划: 1. **初级阶段(1-3 年) ** - **技术学习与积累**: **电路基础强化**: 深入学习模拟电路和数字电路知识,能够熟练分析和设计基本的电路,…

C#:强大而优雅的编程语言

在当今的软件开发领域,C#作为一种广泛应用的编程语言,以其强大的功能、优雅的语法和丰富的生态系统,受到了众多开发者的喜爱。本文将深入探讨 C#的各个方面,展示它的魅力和优势。 一、C#的历史与发展 C#是由微软公司开发的一种面…

时间序列预测(十八)——实现配置管理和扩展命令行参数解析器

如图,这是一个main,py文件,在此代码中,最开始定义了许多模型参数,为了使项目更加灵活和可扩展,便于根据不同的需求调整参数和配置,可以根据实际需要扩展参数和配置项。 下面是如何实现配置管理和扩展命令行…

影刀RPA实战:嵌入python,如虎添翼

1. 影刀RPA与Python的关系 影刀RPA与Python的关系可以从以下几个方面来理解: 技术互补:影刀RPA是一种自动化工具,它允许用户通过图形化界面创建自动化流程,而Python是一种编程语言,常用于编写自动化脚本。影刀RPA可以…

GR2——在大规模视频数据集上预训练且机器人数据上微调,随后预测动作轨迹和视频(含GR1详解)

前言 上个月的24年10.9日,我在朋友圈看到字节发了个机器人大模型GR2,立马去看了下其论文(当然了,本质是个技术报告) 那天之后,我就一直想解读这个GR2来着 然,意外来了,如此文《OmniH2O——通用灵巧且可全…

Hive自定义函数—剔除周日周六(小时级别)

🐱背景🍎 Hello,小伙伴们,许久不见,最近遇到一个需求场景,关于物流时差的计算,要求算出差值是小时,且要剔除周日周六,网上很多文章,最好的也就是按照天剔除周…

C++中的继承——第二篇

一、继承与友元 友元关系不能够继承(就像父亲的朋友不一定是自己的朋友) 具体实现起来就是父类的友元可以访问父类的成员,但是不可以访问子类的成员 二、继承与静态成员 子类的静态成员变量本质上与父类的是同一份,存储在静态…

02多线程基础知识

目录 1. 线程与进程 进程(Process) 线程(Thread) 2. 并发和并行 并发(Concurrency) 并行(Parallelism) 3. CPU 调度 定义 类型 调度算法 上下文切换 4.线程间的状态流转…

基于SpringBoot+Gpt个人健康管家管理系统【提供源码+答辩PPT+参考文档+项目部署】

作者简介:✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流。✌ 主要内容:🌟Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能…

Kotlin by lazy和lateinit的使用及区别

在 Kotlin 中,lateinit 和 by lazy 都可以用来延迟初始化变量,但它们有不同的适用场景和使用方式。下面详细介绍它们的用法和区别。 1.lateinit lateinit 关键字用于延迟初始化 可变属性 (var),主要用于那些在声明时不能立即初始化&#xf…

提高文本处理效率:精通awk命令中的$NF

在AWK编程语言中,$NF是一个特定的变量,用于引用当前处理记录中的最后一个字段值。这里的NF是AWK的一个内置变量,表示当前记录所含字段的数量。通过使用$NF,可以直接获取到与NF数值相对应的那个字段的具体内容。 示例使用 以下文件…

通讯学徒学习日记

本章内容为 长期更新模式,目前入职的第三天,学徒状态。 文章目录 前言开始接水晶头、接光纤水晶头接光纤 PON(GPON 、EPON)AON 和 PON 的详解AONPON 前言 编程虽然是爱好,但确实也想把这份爱好变成工作。但是对于目前刚…

SpringBoot在线教育系统:集成第三方服务

5系统详细实现 5.1 普通管理员管理 管理员可以对普通管理员账号信息进行添加修改删除操作。具体界面的展示如图5.1所示。 图5.1 普通管理员管理界面 5.2 课程管理员管理 管理员可以对课程管理员进行添加修改删除操作。具体界面如图5.2所示。 图5.2 课程管理员管理界面 5.3 …

【用Java学习数据结构系列】泛型上界与通配符上界

看到这句话的时候证明:此刻你我都在努力 加油陌生人 个人主页:Gu Gu Study 专栏:用Java学习数据结构系列 喜欢的一句话: 常常会回顾努力的自己,所以要为自己的努力留下足迹 喜欢的话可以点个赞谢谢了。 作者&#xff…

backtrader下的轮动策略模板,附年化20.6%的策略源码。

原创内容第700篇,专注量化投资、个人成长与财富自由。 原创日更700天,回首向来萧瑟处,也无风雨也无晴。 但行好事,莫问前程,持续改1%,为社群的同学们提供价值。 今天我们实现backtrader下的轮动策略模板…

B2109 统计数字字符个数

B2109 统计数字字符个数 #include <iostream> using namespace std; # include <string.h> #include <ctype.h> #include <algorithm> int main(){ char str[256]; cin.getline(str,256); //fgets(str,256,stdin); int cnt 0; //for(size_t i 0…

使用AWS Lambda构建无服务器应用程序

&#x1f493; 博客主页&#xff1a;瑕疵的CSDN主页 &#x1f4dd; Gitee主页&#xff1a;瑕疵的gitee主页 ⏩ 文章专栏&#xff1a;《热点资讯》 使用AWS Lambda构建无服务器应用程序 AWS Lambda 简介 创建 AWS 账户 创建 Lambda 函数 配置触发器 编写和测试代码 示例代码&am…

如何在Word的表格中一次性插入多行?

当我们想在Word中的表格中一次性插入多行时&#xff0c;却发现内置的插入功能并没有插入行数选项。 此时我们只需要选择多行&#xff0c;例如&#xff0c;选择5行&#xff0c;以同样的步骤插入&#xff0c; 在下方就新增了5行。 同理&#xff0c;插入其他自定义行数。

【ACM出版,EI稳定检索,九大高校联合举办, IEEE Fellow支持】2024年计算机视觉与艺术研讨会(CVA 2024,11月29-12月1日)

大会官网&#xff1a;www.icadi.net (CVA为ICADI分会&#xff0c;网站沿用主会议&#xff1b;议程、出版将以主会为准&#xff09; 大会时间&#xff1a;2024年11月29-12月1日 大会地点&#xff1a;中国-天津 终轮截稿&#xff1a;2024年11月22号&#xff08;特殊情况联系会…

火山引擎VeDI数据服务平台:在电商场景中,如何解决API编排问题?

01 平台介绍 数据服务平台可以在保证服务高可靠性和高安全性的同时&#xff0c;为各业务线搭建数据服务统一出口&#xff0c;促进数据共享&#xff0c;为数据和应用之间建立了一座“沟通桥梁”。 同时&#xff0c;解决数据理解困难、异构、重复建设、审计运维困难等问题&#x…