【LLM_03】自然语言处理基础_1

  • 一、自然语言处理基基本任务和应用
    • 1、自然语言处理的基本任务
    • 2、搜索引擎的基本工作原理
    • 3、知识图谱的构建
    • 4、应用
  • 二、词表示与语言模型
    • 1、词表示
    • 2、上下文
    • 3、语言模型
    • 4、神经网络在语言模型的应用
  • 三、神经网络
    • 1、神经网络基本组成元素
    • 2、如何训练神经网络
    • 3、计算图的概念
    • 4、word2vec

一、自然语言处理基基本任务和应用

1、自然语言处理的基本任务

自然语言处理里面其实有一些基本的任务:

  • 1、词性标注:将给定话的每一个词的词性进行标注,到底是名词、动词还是形容词。
  • 2、命名实体识别:进一步识别出这句话里面名词当中还有哪些是具体的指的是现实世界当中的一些实体。(人名、地名、日期等)
  • 3、共体消解:我们要知道这个代词和前面的哪个实体是指向现实世界当中的同一个实体。
  • 4、依赖关系:不同成分之间相互依存的关系。

在这里插入图片描述

  • 由于中文的字与字之间没有空格,因此机器首先要把词分出来,因此需要一个专门的自然语言处理任务——中文的自动分词。

2、搜索引擎的基本工作原理

搜索引起的基本技术:

  • 1、匹配用户的query(查询),与所有文档之间的相关度。即:如何匹配query和ducument,匹配之间的语义相似度,能够算出来这个document有多大程度上能够满足这个query的需求。
  • 搜索引擎的盈利手段:给定query之后,还可以反馈一些可能需要的广告,一旦用户点击广告,则这个广告商就需要给这个搜索引擎去付费。
  • 2、利用互联网之间的链接信息进行评估——涉及数据挖掘与信息检索。

3、知识图谱的构建

  • 知识图谱是把全世界一些相关的,关于现实世界的一些实体的关系组成一个大的网络,当用户去做查询的时候,会把匹配到的实体的结构化信息直接呈现给用户。——2012年google推出
  • 知识图谱涉及到的关于自然语言处理的问题:(1)用户的查询query如何去匹配或寻找最相关的一些实体和相关的知识。(2)构建图谱需要从大规模的文本里面去挖掘相关的信息。
  • 构建好知识图谱以后就可以去回答一些问题。

4、应用

  • 指:让机器去自动的阅读大规模文本,从而挖掘出相关的一些结构化知识。
    在这里插入图片描述
  • 从一段文本当中找出三元组
    在这里插入图片描述
  • 机器翻译
    在这里插入图片描述
  • 情感粒度区分(情感分类与意见挖掘)

二、词表示与语言模型

1、词表示

  • 词表示:把自然语言里面最基本的语言单位(词),转换成我们机器可以理解的词的含义。即让机器能够理解这个词到底是什么意思。
  • 词表示的目标:(1)词之间的相似度计算。(2)知道并发现词和词之间的语义关系。

在这里插入图片描述

  • 例如:在解释Good这个词的含义的时候,可以用和Good的近义词和反义词去解释。
    在这里插入图片描述

以上方法存在的问题:

  • 1、相近意思的词语无法区分,需要人工标注。
  • 2、一些词语有了新的含义:比如苹果(一种水果–>一家公司)
  • 3、相近意义的词语受到主观因素
  • 4、需要大量的人工来去构建词典。

因此,需要把词表示成一个独立的符号——独热编码。
在这里插入图片描述

  • 向量的维度和词表的长度是相当的。因此就可以独一无二的把每一个词都表示出来。
  • 从而去完成两个文档之间的相似度计算。

又存在什么问题呢?

  • 在表示词的时候会存在问题,因为它会假设词和词之间的向量互相之间都是正交的,就会造成任意两个词之间的相似度计算都是零。
    在这里插入图片描述

2、上下文

  • 利用一个词的上下文的词来表示这个词。
    在这里插入图片描述
    在这里插入图片描述
    又存在哪些问题?
  • 1、当这个词表变得越来越大的时候,其实存储的需求就会变得特别大。
  • 2、对于出现频率特别少的词,它的整个向量因为它出现的次数少,所以上下文就会比较少。导致上下文出现语境的词会变得很稀疏。导致这个词的表示效果没有那么好。

针对上面的问题,接下来提到的就是深度学习、大语言模型所做的word embedding。
在这里插入图片描述- 提出了一种分布式的表示。我们要去建立起一个低维的一个稠密的向量空间。我们要尝试去把每一个词都学到这个空间里面。用这个空间里面所对应的一个向量来去表示这个词。

  • 因此前面我们的需求:利用词表示去计算词和词之间的信任度,以及词和词之间的相关关系,都可以利用这种低维的向量来去完成。这种低维的向量可以利用大规模的数据自动去学习的。而在这方面具有代表性的工作就是Word2Vec。

3、语言模型

  • 语言模型有能力根据前文去预测下一个词到底是什么。
    在这里插入图片描述

  • 语言模型主要完成的两个工作:1、是能够计算一个词的序列,它成为一句话的概率是多少,即联合概率。看已经有的一个序列,成为合法的一句话的概率是多少?2、根据前面已经说过的这些话,预测它的下一个词是什么?

在这里插入图片描述

  • 这里还涉及到语言模型的一个基本的假设:我后面产生哪个词只受到前面词的影响。因此我们可以把一个句子的联合概率,拆解成一个一个的条件概率。

在这里插入图片描述

  • 因此语言模型的写法:一个句子的联合概率=它里面的每一个词基于它前面的已经出现的词的条件概率之积。

那么接下来需要如何去进行语言模型的构建呢?

  • 一个非常典型的做法叫做N-gram:N-gram去统计到底前面出现了几个词之后,后面出现的那个词的频度到底是怎么样。

在这里插入图片描述

  • 例如上面这个4-gram就可以得到to late to后面跟W_j的概率是多少。
  • 其实这个N-gram就是去统计连续出现的序列的频度,利用频度可以去估计前面的词和后面的词出现的概率。(N里面也包含要预测的当前词。因此2gram就是只考虑历史有限的一个长度。)

N-gram的问题

  • N-gram的N一般都是2或者3,因为如果N太大就会导致统计结果非常稀疏,同时存储的量会越大。
  • N-gram的背后还是独热编码,假设所有的词都是相互独立的。统计都是基于上下文来去进行统计的,没有办法理解上下文的这些词互相之间的相似度是什么。

4、神经网络在语言模型的应用

因此就用到了神经语言模型

在这里插入图片描述

  • N-gram里面的每一个词都是一个符号,而在Neural Language Model里面每一个词都是一个低维的向量,因此相似的词它们对应的向量也会比较相似。因此会在语境里面发挥相似的作用。

三、神经网络

  • 大模型其中的一个能力:具有很强的小样本或者少次学习的能力,可以在大规模的无标注数据上进行模型学习,学完之后模型具备很多知识。这样在解决具体任务的时候,就不太需要很多的样本,只需要少量的样本去告诉模型要做什么任务,以及去引导模型把它的知识,跟这个任务相关的知识给摘取出来,去解决这个问题。
  • 当大模型知识量足够大之后,能够直接去从头开始学习的方法。

1、神经网络基本组成元素

在这里插入图片描述

  • 神经元接受n个数作为输入,然后产生一个数的输出,它由参数w和b以及激活函数f来构成。
  • X 1 X_1 X1, X 2 X_2 X2, X 3 X_3 X3是三个数,作为输入。
  • W 1 W_1 W1, W 2 W_2 W2, W 3 W_3 W3是三个权重。
  • 偏置,这个维度的输入恒定为1,边的权重为b。这样偏置可以统一到和前面的输入一样的维度当中。
  • f是非线性的激活函数。

h w , b ( X ) = f ( w T X + b ) h_{w,b}(X)=f(w^TX+b) hw,b(X)=f(wTX+b)

  • 其中 w T X w^TX wTX是向量,在上述例子当中表示的是长度为3的向量。

在这里插入图片描述

  • 我们利用这样的好多单个的神经元,应用到输入的上面,就可以构成一个只有一层的神经网络。

在这里插入图片描述

a = f ( W x + b ) a=f(Wx+b) a=f(Wx+b)

  • 在上述式子当中,权重从向量变成了一个矩阵,偏置从一个标量变成了一个向量。

在这里插入图片描述

  • 将单层的神经网络变成多层的神经网络。
  • 通常把这些在输入之上添加的多层网络称之为隐层。

在这里插入图片描述
激活函数是干嘛的?

  • 如果假设神经网络当中没有激活函数,也就是每一层的操作只是对上一层的输出,运用一个线性变换。那么多层的神经网络其实可以被转化为单层的神经网络。【即多层网络和单层网络的表达能力是一致的。】

  • 因此我们需要引入非线性的激活函数,防止多层神经网络坍塌成单一的神经网络。我们也可以增加激活函数的表达能力,来拟合更复杂的函数。
    在这里插入图片描述

在这里插入图片描述

  • Sigmoid:可以把一个从负无穷到正无穷的输入,转化为一个0-1之间的数。
  • Tanh:把从负无穷到正无穷的输入数据,转化成一个从-1到1之间的数。【特点,如果原来的值是0,则通过激活函数之后的结果也是0。】
  • ReLU:对于正数的输入的结果仍然为原来的数,负数输出的结果为0。

在这里插入图片描述

  • 在构建神经网络的时候,通过叠加若干个隐层,我们可以提升网络的表达能力。那么我们如何得到我们想要的输出结果?这个时候我们需要添加网络的最后一层,也就是输出层。

在这里插入图片描述
在这里插入图片描述

  • 输出层有多种形态,取决于你想让模型去输出什么样子的数据。
  • linear output:线性输出,这样的输出层直接在我们最后的隐层后面再加一个线性层,从而输出得到一个值。这样的输出层适用于回归问题,也就是运用神经网络去预测一个具体的连续的值。此时可以使用线性的输出层。
  • sigmoid:可以让输出的值在0-1之间。通常用来解决二分类问题。
  • softmax:用来解决多分类的问题,即分类者的这个类别的数量大于2的情况。比如我们要解决三分类的问题,就让它设置3个输出。

2、如何训练神经网络

在这里插入图片描述

  • 训练神经网络首先需要一个训练目标。

  • 假设我们有若干条训练数据,其中的输入是某个电脑里面的一些属性,比如说它的一些配置之类的,我们希望能够预测出电脑的价格y。这是一个回归问题,希望神经网络根据输入的数据来拟合一个具体的值。在这种情况下,可以以降低均方差【MSE】作为我们的训练目标。

在这里插入图片描述

  • MSE越小则神经网络的学习越准确。因此我们的目标就是最小化这个值,我们也可以把这个均方差称为我们的损失函数。
  • 我们训练损失函数的目标就是去减少我们损失函数的值。

在这里插入图片描述

  • 如果是文本分类的任务:输入的数据可能是一段文本。我们希望模型去预测比如情感标签这样的东西。情感可以是正面、负面或者中型的。
  • 这种时候我们一般使用最小化交叉熵作为我们的训练目标。这里就可以把最小化交叉熵称为我们的损失函数。
  • 交叉熵其实是衡量模型正确分类的概率。

在这里插入图片描述

  • 上面这个输出层当中使用了softmax得到了一个概率分布,分别代表了三个类别的一个概率。
  • 损失函数越小,正确类别的预测概率越大,即模型预测越准确。

总结,为了达到我们的训练目标,我们通常是希望最小化一个损失函数。
如何去最小化一个损失函数?

  • 通常我们使用的是梯度下降法。把整个优化步骤拆分成若干个步骤。每一步去缩小这个损失函数一点。

在这里插入图片描述
我们如何去调整参数,才能在每一步去缩小这个损失函数?

  • 首先要求出:损失函数对于模型参数的梯度。损失函数对于模型参数的梯度代表了对这个参数进行单位大小的改动之后,损失函数变化最快的一个方向。

3、计算图的概念

  • 计算图可以让我们把神经网络的计算公式画成一个图。在图里面,原节点代表网络的输入,内部节点代表计算操作。有向边起到传递出来计算的值的作用。

在这里插入图片描述- 在反向传播的过程当中,我们可以使用链式法则。通过本地梯度和上游梯度相乘,然后就可以得到下游梯度,然后向下游进行传播。然后得到这个梯度之后,我们就可以通过梯度下降法,来训练我们的神经网络。

4、word2vec

利用非常简单的神经网络进行训练,就可以得到词向量。即词的一个低维的表示。

在这里插入图片描述
word2vec得到的词向量可以反映一些语言的规律:

  • 以第一张图片为例:queen-king得到的向量和woman-man得到的向量可以近似平行。也就是我们可以推导出:queen的向量=king-man+woman的向量
  • 第二张图片:warking和worked与swiming和swam的关系也是构成了一个近似平行的关系。
  • 第三张图片:国家和首都之间的关系都是近似平行的。

word2vec其实只靠非常简单的神经网络就实现了词向量:

word2vec的两类模型:

  • CBOW
  • Skip-Gram
    在这里插入图片描述
  • word2vec使用了滑动窗口来构造训练数据。一个滑动窗口是在一段文本当中连续出现了几个单词,这样的单词构成了一个所谓的窗口。最中间的词叫做Target,即目标词。其他词叫做Context,就是上下文的词。
  • CBOW模型就是根据context词来预测目标词这个模型。
  • Skip-Gram模型是根据目标词来去预测context词的模型。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 上面这张图展示了使用never和late这两个词来去预测too这个词。输入词的数量是根据窗口大小来决定的。
  • 通过线性变换把词向量大小维度的向量转化为词表大小,之后在上面使用一个softmax层,之后最终得到的结果是词表大小的概率分布的向量。每一个维度加起来的值是1。

在这里插入图片描述

在这里插入图片描述

  • 对于skip-gram这个模型,通过target去预测输出context。这对于神经网络来说是较难的问题。
  • 如果never是target的话,就先让模型去预测输出too,再预测输出late。

如何提高计算效率?

  • 实际上词表大小可能是非常大的,这样我们进行全部的softmax,再进行反向传播和梯度下降之后,我们的计算量就会非常大,因此我们需要想办法来提高计算效率。
  • 具体来说有两种方法可以提高计算效率:(1)负采样。(2)分层softmax。
    负采样:指的是我们不把整个词表做softmax,只采样一小部分作为我们的负例。【不是我们需要预测的词称作负例。】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/188802.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

npm 下载包失败解决方案

1.【问题描述】使用 npm 下载vue项目依赖包时失败,版本不一致。 【解决方法】使用 npm install --force npm install --force 是一个命令行指令,用于在 Node.js 环境中使用 npm(Node Package Manager)安装包或模块。–force 参数表…

2023 年最好的 Android 系统修复/刷机应用程序和软件

任何 Android 设备要顺利运行,其操作系统必须运行良好。幸运的是,对于大多数 Android 用户来说,这是不间断的。设备运行良好,打电话、共享文档等都没有问题。尽管如此,Android 操作系统可能会停止运行。这可能是由于特…

Pinme POS无代码开发集成营销系统,实现广告推广自动化

无代码开发平台的优势 无代码开发平台如集简云是一款超级软件连接器,无需开发,无需代码知识就可以轻松打通千款软件之间的数据连接,构建自动化与智能化的业务流程。这种方式无需花费数周甚至数个月的时间做软件集成开发,最快20分…

海康Visionmaster-环境配置:CSharp 二次开发环境配 置方法

C#二次开发环境的配置方法 以 WinForm 为例,进行 VM 二次开发的环境配置分为三步: 第一步,使用 VS 新建一个框架为.NET Framework 4.6.1 的工程,平台首选 32 位取消勾选,重新生成解决方案,保证工程 Debug 下…

openssl研发之base64编解码实例

一、base64编码介绍 Base64编码是一种将二进制数据转换成ASCII字符的编码方式。它主要用于在文本协议中传输二进制数据,例如电子邮件的附件、XML文档、JSON数据等。 Base64编码的特点如下: 字符集: Base64编码使用64个字符来表示二进制数据…

DevOps平台两种实现模式

我们需要一个DevOps平台 要讨论DevOps平台的实现模式,似乎就必须讨论它们的概念定义。然而,当大家要讨论它们的定义时,就像在讨论薛定谔的猫。 A公司认为它不过是自动化执行Shell脚本的平台,有些人认为它是一场运动,另…

韦东山老师的从0写RTOS笔记

生产bin文件 fromelf --bin --outputled.bin Objects\led_c.axf 生产汇编文件 fromelf --text -a -c --outputled.dis Objects\led_c.axf 1.AAPCS函数调用规则 R0-R3:传递参数R0:传递返回值SP(R13):栈指针LR&#xff…

用excel计算矩阵的乘积

例如,我们要计算两个矩阵的乘积, 第一个矩阵是2*2的: 1234 第2个矩阵是2*3的: 5697810 在excel中鼠标点到其它空白的地方,用来存放矩阵相乘的结果: 选择插入-》函数: 选中MMULT,…

Spring Cache

目录 1、简介 2、常用注解 3、使用RedisTemplate 4、使用springCache 🍃作者介绍:双非本科大三网络工程专业在读,阿里云专家博主,专注于Java领域学习,擅长web应用开发、数据结构和算法,初步涉猎Python人…

MeterSphere 任意文件读取漏洞(CVE-2023-25814)

MeterSphere 任意文件读取漏洞(CVE-2023-25814) 免责声明漏洞描述漏洞影响漏洞危害网络测绘Fofa: title"MeterSphere" 漏洞复现1. 构造poc2. 发送数据包3. 查看文件 免责声明 仅用于技术交流,目的是向相关安全人员展示漏洞利用方式,以便更好地…

【LeetCode】挑战100天 Day10(热题+面试经典150题)

【LeetCode】挑战100天 Day10(热题面试经典150题) 一、LeetCode介绍二、LeetCode 热题 HOT 100-122.1 题目2.2 题解 三、面试经典 150 题-123.1 题目3.2 题解 一、LeetCode介绍 LeetCode是一个在线编程网站,提供各种算法和数据结构的题目&…

kubeadm部署k8s及高可用

目录 CNI 网络组件 1、flannel的功能 2、flannel的三种模式 3、flannel的UDP模式工作原理 4、flannel的VXLAN模式工作原理 5、Calico主要组成部分 6、calico的IPIP模式工作原理 7、calico的BGP模式工作原理 8、flannel 和 calico 的区别 Kubeadm部署k8s及高可用 1、…

Python读取csv文件并绘制曲线

前言 有时候我们的数据保存在csv文件中,但是想要更加直观的看出数据的好坏,最好利用matplotlib来画出曲线图 数据准备 我的数据格式如下: 在画图时,我需要把第一行去掉 # 去除第一个元素 xdata xdata.drop(xdata.index[0])…

Longhorn跨AZ实现存储高可用

Longhorn跨AZ实现存储高可用 longhorn基础组件功能及其作用这里就不做介绍了 方案一 Longhorn跨AZ的高可用的就是一个PVC的replicas 均匀打散的不同的AZ区域之间,这样当某个AZ挂掉后,engine会立即使用另外一个数据副本,并重建这个副本&…

Java TreeMap

TreeMap 是一个基于 key 有序的 key value 散列表。 map 根据其键的自然顺序排序,或者根据 map 创建时提供的 Comparator 排序不是线程安全的key 不可以存入null底层是基于红黑树实现的 TreeMap 的类结构图: 实现了 NavigableMap 接口,Na…

MATLAB的编程与应用,匿名函数、嵌套函数、蒙特卡洛法的掌握与使用

目录 1.匿名函数 1.1.匿名函数的定义与分类 1.2.匿名函数在积分和优化中应用 2.嵌套函数 2.1.嵌套函数的定义与分类 2.2.嵌套函数彼此调用关系 2.3.嵌套函数在积分和微分中应用 3.微分和积分 4.蒙特卡洛法 4.1.圆周率的模拟 4.2.计算N重积分(均匀分布&am…

20道高频JavaScript面试题快问快答

※其他的快问快答,看这里! 10道高频Qiankun微前端面试题快问快答 10道高频webpack面试题快问快答 20道高频CSS面试题快问快答 20道高频JavaScript面试题快问快答 30道高频Vue面试题快问快答 面试中的快问快答 快问快答的情景在面试中非常常见。 在面试过…

竞赛选题 深度学习疲劳驾驶检测 opencv python

文章目录 0 前言1 课题背景2 实现目标3 当前市面上疲劳驾驶检测的方法4 相关数据集5 基于头部姿态的驾驶疲劳检测5.1 如何确定疲劳状态5.2 算法步骤5.3 打瞌睡判断 6 基于CNN与SVM的疲劳检测方法6.1 网络结构6.2 疲劳图像分类训练6.3 训练结果 7 最后 0 前言 🔥 优…

idea 2023 设置启动参数、单元测试启动参数

找到上方的editconfigration, 如下图,如果想在启动类上加,就选择springboot,如果想在单元测试加,就选择junit 在参数栏设置参数,多个参数以空格隔开 如果没有这一栏,就选择就可以了。 然后&…

数字马力笔试面试复盘

笔试——10月9日19:00 单选:30题 16.如何获取AJAX 请求的响应状态码? A通过AJAX对象的 statusCode 属性获取 B通过AJAX对象的responseText 属性获取C通过AJAX对象的status 属性获取 D通过AJAX对象的responseCode属性获取 答案:可以通过AJAX…