【Roadmap to learn LLM】Large Language Models in Five Formulas

by Alexander Rush

Our hope: reasoning about LLMs
Our Issue

文章目录

  • Perpexity(Generation)
  • Attention(Memory)
  • GEMM(Efficiency)
    • 用矩阵乘法说明GPU的工作原理
  • Chinchilla(Scaling)
  • RASP(Reasoning)
  • 结论
  • 参考资料

the five formulas

  1. perpexity —— generation
  2. attention —— memory
  3. GEMM —— efficiency
  4. Chinchilla —— scaling
  5. RASP —— reasoning

Perpexity(Generation)

simplified language 文档 word tokens 词典
language model 文档的概率模型 p ( x 1 , x 2 , . . . , x T ; θ ) p(x_1, x_2, ..., x_T; \theta) p(x1​,x2​,...,xT​;θ)
chain rule 利用chain rule 将joint probability转换为conditional probability
p ( x 1 , . . . , x T ) = ∏ t = 1 T p ( x t ∣ x 1 , . . . , x t − 1 ) p(x_1, ..., x_T) = \prod_{t=1}^Tp(x_t|x_1, ..., x_{t-1}) p(x1​,...,xT​)=∏t=1T​p(xt​∣x1​,...,xt−1​)
Auto-Regressive，自动从之前的结果即已有tokens预测之后的token
word classification：每一个条件概率都可以被视为一个采样，在word tokens字典上形成一个概率分布
sampling：条件概率告诉我们每次采样一个word token

Markovian
一些假设
n-grams/Markovian假设：word x t x_t xt​ 仅仅依赖于离他一定距离以内的有限个word tokens
categorical假设：下一个单词的概率可以用分类分布来建模

Shannon
这样一个问题：如何度量一个language model的语言建模能力有多强

Metric：Accuracy

words和language遵循zipfian Distribution（长尾效应、幂律关系、最省力原则）
常见的单词占据了概率分布的一大部分，预测不同单词（有着不同的分布频率）情形出现的概率不同，因而不能直接用预测的单词对不对来评判语言模型预测下一个单词的能力，因为零概率单词的存在

处理方法：将概率转换为二进制字符串，字符串的长度是通过概率计算得到的，并且字符串长度 L L L满足 L = − l o g 2 p ( x t ∣ x 1 , . . . , x t − 1 ) L = -log_2p(x_t|x_1,..., x_{t-1}) L=−log2​p(xt​∣x1​,...,xt−1​)

p e r p l e x i t y = 2 − ∑ t l o g 2 p ( x t ∣ x 1 , . . . , x t − 1 ) / T perplexity = 2^{-\sum_tlog_2p(x_t|x_1,..., x_{t-1})/T} perplexity=2−∑t​log2​p(xt​∣x1​,...,xt−1​)/T

在Wall Street Journal上进行语言建模的perplexity结果
image.png

为什么perplexity重要
语言建模可以直接用于其他任务。举个例子，法语到英语的机器翻译可以理解为将法语句子和已经生成的英文words共同作为条件来predict下一个word。
->语言模型的perplexity与将其用于下游任务的效果密切相关
image.png

->语言模型的perplexity越低，它的泛化能力越强，甚至是在训练之外的任务上
image.png

->现在，perplexity已经作为llm性能的重要衡量指标，我们甚至可以相信说，一个有着更低perplexity的llm会在整体性能上都更好
image.png

从Shannon的模型到GPT-3
两个主要假设

  1. 使用深度神经网络模型
  2. 在预测下一个token时考虑已经生成的全部tokens

Attention(Memory)

语言模型参数化
Markovina假设： p ( x t ∣ x t − 2 , x t − 1 ; θ ) p(x_t|x_{t-2}, x_{t-1};\theta) p(xt​∣xt−2​,xt−1​;θ) 通过前两个单词预测当前单词

神经网络语言模型
s o f t m a x ( N N ( x t − 2 , x t − 1 ) ) softmax(NN(x_{t-2}, x_{t-1})) softmax(NN(xt−2​,xt−1​)) 得到下一个单词的预测概率分布
x t − 2 x_{t-2} xt−2​和 x t − 1 x_{t-1} xt−1​均为one-hot向量，预测的 x t x_t xt​也为一个one-hot向量
image.png

softmax
将输出转化为词汇表上的概率分布，保证词汇表上每个word对应的概率均为正且所有word的概率加和为1
s o f t m a x ( z ) v = e x p ( z v ) ∑ v ′ e x p ( z v ′ ) softmax(z)_v = \frac{exp(z_v)}{\sum_{v'}exp(z_{v'})} softmax(z)v​=∑v′​exp(zv′​)exp(zv​)​
image.png

Early Breakthrough: Word2Vec
很重要的一个模型，之后语言建模技术的基础

深度语言模型
image.png

这样的语言建模存在的问题
有些token的预测依赖于长上下文的，而当前的语言模型仅仅只考虑了前两个token，传递的信息是不够的
举个例子：这里需要语言模型输出一个在之前段落中提到过的人的姓氏，这对于一个仅仅考虑tokens nearby的语言模型而言是不可能完成的
image.png

Fully Auto-Regressive Models
完全自回归模型，理论上这些模型是使用所有以前的tokens来预测接下来的token
p ( x t ∣ x 1 , . . . , x t − 1 ; θ ) p(x_t|x_1, ..., x_{t-1}; \theta) p(xt​∣x1​,...,xt−1​;θ)

为什么是注意力机制而不是普通的神经网络
普通的神经网络不能对上下文进行动态的语言建模，举个例子，当我们在预测position 7的token时，普通的神经网络将学习到关于position 7的非常具体的信息

解决方案：Attention
当今所有llm的核心
类似于随机读取的缓存"RAM"或者跳表
将之前的信息缓存起来为之后的使用做准备

Attention的使用
举个例子，现在我们需要语言模型预测the blank word。在使用注意力机制的时候，我们有一个query vector和一个lookup table，lookup table是之前所有token的相关信息，存储形式为key-value的键值对。当语言模型进行预测任务时，query vector在lookup表里与所有key值进行匹配得到与待预测token最相关的key，将它的value值传递到后面的深度神经网络中，从而完成预测token任务
image.png

总结一下Attention mechanism做了什么事情
image.png

存在的问题
argmax函数不存在导数
image.png

解决办法：将argmax函数替换为softmax函数，从而生成先前tokens的位置分布
image.png

将argmax改为softmax后的新process
在第二步使用softmax函数求得各个位置key的标准化分数，在第三步对各个位置的分数值进行加权得到最后的结果传递给深度神经网络
image.png

Attention is all you need(2017)
语言建模领域的重要论文，揭示了深度神经网络+注意力=Transformer

Tranformer结构
由两个阶段构成，第一个阶段是注意力机制，第二个阶段是深度神经网络。这两个阶段在最后的预测之前会重复多次
image.png

如何解释llm中的注意力
Attention就像记忆一样
Tranformer架构中使用的Attention机制高效且并行化能力高

Final Process
image.png
我们得到了这样一个完整的自回归语言模型，这个模型被称为"generative language model"
这样一个计算过程包括矩阵乘法和softmax计算，是高度可并行化的，利用GPU加速

GEMM(Efficiency)

general purpose GPUs
GPU在llm构建过程中发挥的核心地位，GPU/算力直接决定我们能够构建出什么样性能的llm

用softmax的计算说明GPU发挥的巨大作用
在GPU广泛使用之前，softmax函数的分母计算给CPU造成了巨大的挑战，很多研究都在探究怎么样找到一个近似的函数来对分母的求和进行逼近。而当2010年之后GPU通用编程开始兴起，这个计算变成了一个很简单的问题
image.png

用矩阵乘法说明GPU的工作原理

GPU是什么
大量并行运行的PC，有着多个线程，可以同时运行相同的代码

下面将一个GPU线程比作一个小机器人，对GPU的结构进行说明：

GPU线程
image.png

GPU block
一个block中的所有线程（这里是12个）同时运行相同的代码，从block的local memory存取数据是快且高效的
image.png

GPU Grid
一个Grid对应了一个全局memory被所有线程共享，线程从这个全局memory中读取数据是更慢的
image.png

规则
局部性原理，通过在整个grid中进行block分块，使得块内线程读取块内存储相较于全局存储是更高效的

GPU中的分层存储
全局存储和本地存储直接有交换关系，每个线程只会读取本地线程以获得更高效的性能
image.png

举个例子进行说明
3X3的矩阵乘法在GPU上的运算过程
B A BA BA
如果在计算结果的一个项时只使用一个线程，会带来大量低效的全局访存操作
image.png

GPU使用的方法，先将待乘的矩阵数据读取缓存到块存储中，再进行计算
step1: 从全局存储中将待计算的矩阵数据读取到block存储中
step2: 在block存储中计算矩阵乘法
step3: 从block存储中将计算结果写回全局存储
image.png

两种方法的对比
image.png

GEMM
更generally的情况是，还会给矩阵乘法结果加上一个矩阵作为偏置项
image.png

Chinchilla(Scaling)

预训练阶段的两个变量
llm的参数量和训练数据量
image.png

在考虑计算量的时候，数据量和参数量这两个变量形成了乘法关系(a multiplicative relationship)：每个参与训练的token需要与每个参数进行计算
image.png

Scaling Laws
大语言模型的性能随着模型规模、训练数据量和使用的计算资源的增大而增强，它们之间满足幂律。log perplexity与计算资源大致成一个线性关系
image.png

一个直觉性的结论：尽可能地增加模型参数量和训练数据量

存在的问题
计算资源总是有限的，我们应当如何分配，模型参数量和训练数据量之间的分配比例？
如下图所示，我们应该使用更多的训练数据（左图）还是使用更多的模型参数量（右图）
image.png

如何找到最佳的计算资源分配
使用模型参数量 N N N和训练数据量 D D D拟合语言模型的perplexity，拟合结果如下图中的公式所示：
image.png

最后的结果——Chinchilla
模型参数量和训练数据量的重要程度大致相当，因而如果我们以大致相等的比例缩放数据和模型，将会得到有限计算资源下最好的perplexity，即最好的llm
image.png

不同模型的参数-训练数据量比展示：
image.png

注意：推理运用
在训练过程中故意使用一个不对称的N/D，比如使用相对更多的训练数据，使用一些计算资源来得到一个相对更小的模型

举个例子：Llama
image.png

RASP(Reasoning)

到目前为止，我们所做的，让模型在巨大的训练数据集上进行训练，我们的评测指标只是llm的perplexity是否下降，然后依赖“perplexity的下降会带来llm在其他相关任务上同样有更好的性能”，进行模型的训练优化。
但是我们并不知道也没有办法解释llm到底学到了什么

RASP
一种可以被翻译为一个Transformer语言模型的形式语言，类似于有限自动机

RASP编程
每一个操作都类似于注意力机制中的操作，将query vector、key vector和value vecotr转换为output
image.png

几个RASP程序
没怎么看懂，应该是通过RASP语言实现了Transformer中一个个简单的操作并直观地展示出来
第一个程序，匹配所有索引小于查询索引的key-value
image.png

第二个程序，将input序列右移一个位
image.png

结论

LLM的五个公式相关的研究都在不断发展
将人类反馈（RLFH）纳入模型优化的评价指标，作为对perplexity的扩展
考虑全部的input序列，是否有除开Transformer之外的其他架构
GPU的新架构、新扩展
Transformer带来硬件如何相互协调工作？以及其他有关llm可解释性的研究
image.png

参考资料

  1. Large Language Models in Five Formulas

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/290847.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

电脑分辨率怎么调，电脑分辨率怎么调整

电脑分辨率怎么调，电脑分辨率怎么调整

随着电脑的普及以及网络的发展，我们现在在工作中都离不开对电脑的使用，今天小编教大家设置电脑分辨率，现在我们先了解这个分辨率是什么?通常电脑的显示分辨率就是屏幕分辨率，显示屏大小固定时，显示分辨率越高图像越清…
阅读更多...
数据可视化为什么能在智慧港口中发挥作用？

数据可视化为什么能在智慧港口中发挥作用？

随着全球贸易活动日益频繁，港口作为国际贸易的重要节点，其运营效率与智能化程度直接影响着整个物流链的效能。在此背景下，智慧港口的概念应运而生，它借助先进的信息技术手段对传统港口进行改造升级，其中，数…
阅读更多...
【AIGC】如何在Windows/Linux上部署stable diffusion

【AIGC】如何在Windows/Linux上部署stable diffusion

文章目录 整体安装步骤windows10安装stable diffusion环境要求安装步骤注意事项参考博客其他事项安装显卡驱动安装cuda卸载cuda安装对应版本pytorch安装git上的python包Q&A linux安装stable diffusion安装anaconda安装cudagit 加速配置虚拟环境挂载oss（optional…
阅读更多...
Spring Aop 源码解析（下）

Spring Aop 源码解析（下）

ProxyFactory选择cglib或jdk动态代理原理 ProxyFactory在生成代理对象之前需要决定到底是使用JDK动态代理还是CGLIB技术： config就是ProxyFactory对象，把自己传进来了，因为ProxyFactory继承了很多类，其中一个父类就是ProxyConfig // config就是ProxyFactory对象// 是不是…
阅读更多...
02正式学习第一天

02正式学习第一天

1、windows上加载socket库 链接输入ws2_32.lib 代码code&#xff1a; #ifdef _WIN32 #include<windows.h> #else #include <sys/socket.h> #include<sys/types.h> #include<unistd.h> #include<cstring> #include<arpa/inet.h> #include…
阅读更多...
【Java】LinkedList模拟实现

【Java】LinkedList模拟实现

目录 整体框架IMyLinkedList接口IndexNotLegalException异常类MyLinkedList类成员变量(节点信息)addFirst(头插)addLast(尾插)在指定位置插入数据判断是否存在移除第一个相等的节点移除所有相等的节点链表的长度打印链表释放回收链表 整体框架 IMyLinkedList接口 这个接口用来…
阅读更多...
WPF 路由事件 数据驱动 、Window 事件驱动

WPF 路由事件 数据驱动 、Window 事件驱动

消息层层传递&#xff0c;遇到安装有事件侦听器的对象&#xff0c;通过事件处理器响应事件&#xff0c;并决定事件是否继续传递&#xff1b; 后置代码中使用AddHandler方法设置事件监听器&#xff0c;该方法的 第一个参数是指定监听的路由事件类型对象&#xff0c; 第二个参数…
阅读更多...
微服务demo（四）nacosfeigngateway

微服务demo（四）nacosfeigngateway

一、gateway使用&#xff1a; 1、集成方法 1.1、pom依赖&#xff1a; 建议&#xff1a;gateway模块的pom不要去继承父工程的pom&#xff0c;父工程的pom依赖太多&#xff0c;极大可能会导致运行报错&#xff0c;新建gateway子工程后&#xff0c;pom父类就采用默认的spring-b…
阅读更多...
CSS之动画

CSS之动画

一&#xff0c;动画的制作 实现盒子绕圈走 二&#xff0c; 动画的常用属性 三&#xff0c;动画简写属性 前面两个属性一定要写&#xff0c;第三个linear是指匀速的意思&#xff08;默认是ease&#xff09;
阅读更多...
【快速解决】解决谷歌自动更新的问题，禁止谷歌自动更新，如何防止chrome自动升级 chrome浏览器禁止自动升级设置方法

【快速解决】解决谷歌自动更新的问题，禁止谷歌自动更新，如何防止chrome自动升级 chrome浏览器禁止自动升级设置方法

目录 问题描述 解决方法 1、搜索栏搜索控制面板 2、搜索&#xff1a;服务 ​编辑 3、点击Windows工具 4、点击服务 ​5、禁止谷歌更新 问题描述 由于我现在需要装一个谷歌的驱动系统&#xff0c;但是目前的谷歌驱动系统的版本都太旧了&#xff0c;谷歌自身的版本又太新了…
阅读更多...
手写简易操作系统(十五)--实现内核线程

手写简易操作系统(十五)--实现内核线程

前情提要 前面我们实现了内存管理系统&#xff0c;内存管理系统可以实现进程与进程之间的隔离。 Linux中高1GB是操作系统内核的地址&#xff0c;低3GB是用户的地址&#xff0c;高1GB对于所有用户都是一致的&#xff0c;低3GB才是用户自己的自留地。 既然已经实现了内存管理&…
阅读更多...
[flink 实时流基础] flink组件栈以及任务执行与资源划分

[flink 实时流基础] flink组件栈以及任务执行与资源划分

文章目录 7. Flink组件栈1. 部署层&#xff08;1&#xff09;Local模式&#xff08;2&#xff09;Cluster模式&#xff08;3&#xff09;Cloud模式 2.运行时3.API层4. 上层工具 8. 任务执行与资源划分1. 再谈逻辑视图到物理执行图2. 任务、算子子任务与算子链3. Slot与计算资源…
阅读更多...
Linux文件IO(2):使用标准IO进行文件的打开、关闭、读写、流定位等相关操作

Linux文件IO(2):使用标准IO进行文件的打开、关闭、读写、流定位等相关操作

目录 前言 文件的打开和关闭的概念 文件的打开 文件的打开函数 文件打开的模式 文件的关闭 文件的关闭函数 注意事项 字符的输入&#xff08;读单个字符&#xff09; 字符输入的函数 注意事项 字符的输出&#xff08;写单个字符&#xff09; 字符输出的函数 注意…
阅读更多...
Git版本管理使用手册 - 8 - 合并分支、解决冲突

Git版本管理使用手册 - 8 - 合并分支、解决冲突

合并整个开发分支 切换到本地test分支&#xff0c;选择右下角远程开发分支&#xff0c;选择Merge into Current。然后提交到远程test仓库。 合并某次提交的代码 当前工作区切换成test分支&#xff0c;选择远程仓库中的dev开发分支&#xff0c;选择需要合并的提交版本右击&a…
阅读更多...
HarmonyOS实战开发-实现Ability内页面间的跳转和数据传递。

HarmonyOS实战开发-实现Ability内页面间的跳转和数据传递。

介绍 本篇Codelab基于Stage模型下的Ability开发&#xff0c;实现Ability内页面间的跳转和数据传递。 最终效果图如下&#xff1a; 相关概念 页面路由&#xff1a;提供通过不同的url访问不同的页面&#xff0c;包括跳转到应用内的指定页面、用应用内的某个页面替换当前页面、…
阅读更多...
网络七层模型之物理层：理解网络通信的架构（一）

网络七层模型之物理层：理解网络通信的架构（一）

&#x1f90d; 前端开发工程师、技术日更博主、已过CET6 &#x1f368; 阿珊和她的猫_CSDN博客专家、23年度博客之星前端领域TOP1 &#x1f560; 牛客高级专题作者、打造专栏《前端面试必备》 、《2024面试高频手撕题》 &#x1f35a; 蓝桥云课签约作者、上架课程《Vue.js 和 E…
阅读更多...
企业数据资产管理的战略价值与实施策略

企业数据资产管理的战略价值与实施策略

一、引言 数据资产不仅记录了企业的历史运营情况&#xff0c;更能够揭示市场的未来趋势&#xff0c;为企业的决策提供有力支持。因此&#xff0c;如何有效地管理和利用数据资产&#xff0c;已经成为企业竞争力的重要体现。本文将探讨企业数据资产管理的战略价值与实施策略&…
阅读更多...
【Java多线程】3——Lock API控制多线程

【Java多线程】3——Lock API控制多线程

3 Lock API控制多线程 ⭐⭐⭐⭐⭐⭐ Github主页&#x1f449;https://github.com/A-BigTree 笔记仓库&#x1f449;https://github.com/A-BigTree/tree-learning-notes 个人主页&#x1f449;https://www.abigtree.top ⭐⭐⭐⭐⭐⭐ 如果可以&#xff0c;麻烦各位看官顺手点个…
阅读更多...
【JavaScript算法】DOM树层级显示

【JavaScript算法】DOM树层级显示

题目描述&#xff1a; 上述表达式的输出结果为 [DIV] [P, SPAN, P, SPAN] [SPAN, SPAN]直接上代码 let tree document.querySelector(".a"); function traverseElRoot(elRoot) {const result [];function traverse(element, level) {if (!result[level]) {resul…
阅读更多...
ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成

ASR-LLM-TTS 大模型对话实现案例；语音识别、大模型对话、声音生成

参考：https://blog.csdn.net/weixin_42357472/article/details/136305123（llm+tts） https://blog.csdn.net/weixin_42357472/article/details/136411769 （asr+vad） 这里LLM用的是chatglm；电脑声音播报用的playsound 1、实时语音识别版本 注意：暂时这项目有个缺陷就是tts…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023