零门槛复现ChatGPT:预训练模型数据集直接用,包含完整RLHF流程,在线可体验...

明敏 发自 凹非寺
量子位 | 公众号 QbitAI

这边ChatGPT、GPT-4等AI大模型和应用打得火热;

另一边“平替”开源复现方案也加紧更新迭代。

这不,“首个开源ChatGPT低成本复现流程”就来了波大更新!

现在,仅需不到百亿参数,利用RLHF简单微调,模型即可掌握中、英双语能力,达到与ChatGPT和GPT-3.5相当的效果。

中文对话效果如下:

21ceac91e2d77bb2f055fbd54508ae55.png

这就是ColossalChat

由Colossal-AI推出。一个月前,Colossal-AI乘着ChatGPT热潮火速开源了低成本复现流程。

而新升级的ColossalChat,以Meta最新开源的LLaMA为基础预训练模型,能力更强、门槛还更低了:

  • Demo:可直接在线体验模型效果,无需注册或waitinglist

  • 训练代码:开源完整 RLHF 训练代码,已开源至含7B、13B两种模型

  • 数据集:开源104K中、英双语数据集

  • 推理部署:4bit量化推理70亿参数模型仅需4GB显存

  • 模型权重:仅需单台服务器少量算力即可快速复现

  • 更大规模模型、数据集、其他优化等将保持高速迭代添加

要知道,模型开源、数据集、训练应用成本、核心数据安全性等,是AI大模型浪潮下最被关注的一些问题。ColossalChat针对于此,一次性给出了应对方法。

由此,想要快速跟进ChatGPT这轮技术浪潮,门槛又低了一些。

开源地址:https://github.com/hpcaitech/ColossalAI

包含完整 RLHF 流程

具体来看,ColossalChat的能力包括知识问答、中英文对话、内容创作、编程等。

和ChatGPT一样,ColossalChat知道NBA和乔丹是谁:

09315e67f5f564a9ea9528229396f9fe.png

会写邮件,格式非常规范:

53683ae8c7e11303ebeac8dd2435b810.png

编程能力也不错,能搞定算法:

f3b41d09d69df11053227ee9d7a2d96c.png

据了解,为了能更逼近ChatGPT、GPT-4的惊艳效果,ColossalChat使用LLaMA作为预训练模型,并包含完整RLHF流程。

之所以这样做,主要是因为现有开源方案都可被视为只得到了人类反馈强化学习(RLHF)中第一步的监督微调模型,没有进行后续的对齐和微调工作。

baa324e4d633b6385648465086ff3d56.png
RLHF的三个阶段

比如Meta 开源了LLaMA模型,其参数量从70亿到650亿不等,号称130 亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

但是由于没有被指令微调(instruct tuning),因此实际生成效果不够理想。

斯坦福的Alpaca通过调用OpenAI API,以self-instruct方式生成训练数据,使得仅有70亿参数的轻量级模型以极低成本微调后,即可获得媲美GPT-3.5这样千亿参数的超大规模语言模型的对话效果。

而ChatGPT、GPT-4效果好的一大关键就是将RLHF引入训练流程,才能让生成内容更符合人类价值观。

因此,基于LLaMA模型,包含完整RLHF流程的类Chat模型复现方案 ColossalChat,可以称得上是目前最接近ChatGPT原始技术路线的实用开源项目。

总结来看,和Alpaca相比较ColossalChat具备4个方面的优势

第一、ColossalChat开源了第一个完整的RLHF pipeline,斯坦福Alpaca没有做RLHF,也就是没有做Stage2和3。

第二、ColossalChat采用了更多的指令数据,质量更好、范围更大,并使用强化学习做了alignment使回答更接近人类。

0857c6c33dd4043a93f9a7e3e9a3e912.png

第三、ColossalChat训练流程集成了Colossal-AI的诸多系统优化,同等数据集和模型大小的训练速度可以比AIpaca快3倍左右能让科研人员和中小企业独立训练部署自己的会话系统

第四、ColossalChat采集了更多数据集:训练的英文一共 24M tokens,中文大约 30M tokens,总共约 54M tokens。其中ColossalChat自己收集的数据集英文 6M,中文 18M tokens。

702564ee42eccb80df2e34b52cb4fc8f.png

训练数据集开源

数据集方面,ColossalChat开源了包含约10 万条问答的中、英双语数据集

该数据集收集并清洗了社交平台上人们的真实提问场景作为种子数据集,利用self-instruct技术扩充数据,花费约900美元进行标注。

对比其他self-instruct方法生成的数据集,该数据集的种子数据更加真实、丰富,生成的数据集涵盖的话题更多。

该数据可以同时用于微调和RLHF训练。通过高质量的数据,ColossalChat能进行更好地对话交互,同时支持中文。

81bc83e70591a950e9460665243cb4ec.png
ColossalChat数据集收集流程

RLHF算法复现

RLHF第一步(Stage1)是supervised-fintuning,即使用上文提到的数据集进行模型微调。

RLHF第二步(Stage2)训练了奖励模型,它通过对于同一个prompt的不同输出进行人工排序,得到对应分数,监督训练奖励模型。

RLHF第三步(Stage3)使用了强化学习算法,是训练流程中最复杂的一部分:

a8ddd60d42fd4627408fbb18fefb8628.jpeg
RLHF-Stage3算法流程图

在PPO部分,ColossalChat分为两个阶段进行:

首先是Make Experience部分,利用SFT、Actor、RM、Critic模型计算生成Experience存入buffer中;之后是参数更新部分,利用Experience计算策略损失和价值损失。

在PTX部分,ColossalChat计算Actor输出response和输入语料的回答部分的交叉熵损失函数,用来在PPO梯度中加入预训练梯度,以保持语言模型原有性能防止遗忘。最后将策略损失、价值损失和 PTX 损失加和进行反向传播和参数更新。

快速上手

ColossalChat开源了基于 LLaMA 模型,复现训练 ChatGPT 三个阶段的完整代码。

第一阶段,训练SFT模型:

# Training with a 4-GPU servers
colossalai run --nproc_per_node=4 train_sft.py \--pretrain "/path/to/LLaMa-7B/" \--model 'llama' \--strategy colossalai_zero2 \--log_interval 10 \--save_path  /path/to/Coati-7B \--dataset /path/to/data.json \--batch_size 4 \--accimulation_steps 8 \--lr 2e-5

第二阶段,训练奖励模型:

# Training with a 4-GPU servers
colossalai run --nproc_per_node=4 train_reward_model.py \--pretrain "/path/to/LLaMa-7B/" \--model 'llama' \--strategy colossalai_zero2 \--dataset /path/to/datasets

第三阶段,使用RL训练:

# Training with a 8-GPU servers
colossalai run --nproc_per_node=8 train_prompts.py prompts.csv \--strategy colossalai_zero2 \--pretrain "/path/to/Coati-7B" \--model 'llama' \--pretrain_dataset /path/to/dataset

在获得最终模型权重后,还可通过量化降低推理硬件成本,并启动在线推理服务,仅需单张约4GB显存的GPU即可完成70亿参数模型推理服务部署

python server.py /path/to/pretrained --quant 4bit --gptq_checkpoint /path/to/coati-7b-4bit-128g.pt --gptq_group_size 128

系统性能优化与开发加速

ColossalChat能够快速跟进ChatGPT完整RLHF流程复现,离不开AI大模型基础设施Colossal-AI及相关优化技术的底座支持,相同条件下训练速度相比Alpaca采用的FSDP(Fully Sharded Data Parallel) 可提升3倍以上

系统基础设施Colossal-AI

AI大模型开发系统Colossal-AI为该方案提供了基础支持,它可基于PyTorch高效快速部署AI大模型训练和推理,从而降低AI大模型应用的成本。

Colossal-AI由加州伯克利大学杰出教授James Demmel和新加坡国立大学校长青年教授尤洋领导开发。

自从它开源以来,Colossal-AI已经多次在GitHub热榜位列世界第一,获得GitHub Star约两万颗,并成功入选SC、AAAI、PPoPP、CVPR、ISC等国际AI与HPC顶级会议的官方教程。

减少内存冗余的ZeRO+Gemini

Colossal-AI支持使用无冗余优化器 (ZeRO) 提高内存使用效率,低成本容纳更大模型,同时不影响计算粒度和通信效率。

自动Chunk机制可以进一步提升ZeRO的性能,提高内存使用效率,减少通信次数并避免内存碎片。

异构内存空间管理器Gemini支持将优化器状态从GPU显存卸载到CPU内存或硬盘空间,以突破GPU显存容量限制,扩展可训练模型的规模,降低AI大模型应用成本。

使用LoRA低成本微调

Colossal-AI支持使用低秩矩阵微调(LoRA)方法,对AI大模型进行低成本微调。

LoRA方法认为大语言模型是过参数化的,而在微调时,参数改变量是一个低秩矩阵。

因此,可以将这个矩阵分解为两个更小的矩阵的乘积。

在微调过程中,大模型的参数被固定,只有低秩矩阵参数被调整,从而显著减小了训练所需的参数量,并降低成本。

低成本量化推理

5d865f4e832898bb6a015d86431c5477.png
GPTQ量化

为降低推理部署成本,Colossal-AI使用GPTQ 4bit量化推理。

在GPT/OPT/BLOOM类模型上,它比传统的RTN(rount-to-nearest) 量化技术能够获得更好的Perplexity效果。相比常见的FP16推理,它可将显存消耗降低75%,只损失极少量的吞吐速度与Perplexity性能。

以ColossalChat-7B为例,在使用4bit量化推理时,70亿参数模型仅需大约4GB显存即可完成短序列(生成长度为128)推理,在普通消费级显卡上即可完成(例如RTX 3060 Laptop),仅需一行代码即可使用。

if args.quant == '4bit':model = load_quant(args.pretrained, args.gptq_checkpoint, 4, args.gptq_group_size)

如果采用高效的异步卸载技术(offload),还可以进一步降低显存要求,使用更低成本的硬件推理更大的模型。

开放协作

不过目前由于算力和数据集有限,在部分场景下的实际性能还有提升空间。

比如还是会被弱智吧问题难住:

1112d9f9ca492ee8807adc7d3cea146d.png

而在这轮技术浪潮中,除了科技巨头们,PyTorch、Hugging Face和OpenAI等开源社区与初创企业也起到了关键作用。

借鉴这些成功经验,Colossal-AI也欢迎各方参与共建,并给出了多种参与方式:

  • 在GitHub发布issue或提交pull request (PR)

  • 加入Colossal-AI用户微信或Slack群交流

  • 发送正式合作提案到邮箱youy@comp.nus.edu.sg

如果你对这项工作感兴趣,可以赶快和他们取得联系~

开源地址:
https://github.com/hpcaitech/ColossalAI

参考链接:

https://medium.com/@yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b

—  —

点这里👇关注我,记得标星哦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/27836.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

面试的三种形式

对于面试大家都不会陌生,大大小小的面试也都经历过,有过不是很正规的,也有过让自己大开眼界的大型面试,但无外乎三种形式电话面试,共享桌面远程面试,现场面试。但是在这几种面试的场合中,我们到…

shp文件批量导入SDE

仿照ArcGIS的数据导入功能做了个简易的数据导入界面: 需要注意的问题:上篇博文中的要素类导入函数要变成静态函数,不然会报错。原因我想可能是因为非静态函数导入时,workspace与workspacefactory等类型变量未释放,希望…

Oracle 配置Linux环境 ArcGIS Server 64位客户端创建SDE

1. 环境情况 oracle数据库 11_2 g所在服务器环境: Windows Server 2016虚拟机,默认实例orcl ,默认密码orclServer所在服务器环境:ArcGIS Server10.8.1,CentOS7.5虚拟机,64位Instant客户端本机ArcMap10.8.1…

如何快速搭建基于PostgreSQL的空间数据库(SDE)

如何快速搭建基于PostgreSQL的空间数据库(SDE) 1 安装准备 1.1 ArcGIS平台 ArcGIS Desktop 10.5以及ArcGIS Enterprise 10.5。 1.2 数据库 ArcGIS 支持以下PostgreSQL 和 PostGIS 版本。列出的特定版本为支持的最低次要版本,受支持…

SDE数据库解锁

SDE数据库解锁 arcgis sde数据库解锁 方法一:登录修改数据用户,选择数据上层数据集或数据库 选择一行数据右键解锁,shift选择多行数据解锁 方法二:plsql 数据库语句解锁数据库 select * from sde.state_locks; select * from s…

sde用sql实现erase

概述: 本文讲述基于Arc SDE forOracle实现erase空间分析计算。 实现流程: 1、叠加计算 判断叠加,非叠加部分即为一部分所要结果,叠加部分进入第二步; 2、合并计算 根据objectid进行union计算; 3、差异…

SDE常用函数

SDE常用函数 arcgis sde库常用函数:(示例使用Oracle数据库) 1、ST_AsText 返回表示几何的文本字符串(wkt) sde.st_astext(shape) SELECT SDE.ST_ASTEXT(SHAPE) FROM TEXT结果: 2、ST_Geometry ST_Geometry 通过文本(wkt,坐…

Sentaurus SDE

Sentaurus SDE visual

sde方面的一些疑问(笔记)

sde: (1)ArcSDE 服务自 ArcGIS 10.3 起不再可用。但是,ArcGIS 10.3.1 和更高版本的客户端仍可以使用 ArcSDE 服务连接到 10.1 或 10.2.x 版本的地理数据库。 http://desktop.arcgis.com/zh-cn/arcmap/latest/manage-data/admini…

Sentaurus TCAD学习之SDE

Sentaurus TCAD学习之Sde 分析IGBT例子中SDE代码 分析IGBT例子中SDE代码 ; Using DF-ISE coordinate system for structure generation //使用DF-ISE坐标系生成结构 (sde:set-process-up-direction "z");---------------------------------------------------------…

SDE:Stochastic Differential Equation 简述

一、ODE vs. SDE 常微分方程(ODE)的基本形式为: 一般来说其解是一条确定的曲线,而随机微分方程(SDE),其结果是一个随机的过程,最终得到是的多种样本轨道。 那么在ODE方程里加入随机性主要有两种方式: 1、随机化初值…

ArcEngine连接sde并读取数据

第一步:创建空数据库 打开SQL Server 2012,新建一个空的数据库,我这里命名为TestGDB 第二步:建立SDE数据库 打开ArcMap,在ArcToolbox中选择数据管理工具下的地理数据库管理,点击创建企业级地理数据库。…

ArcCatalog连接PostgreSQL创建SDE库

本文默认环境已经安装好ArcGIS及PostgreSQL。 1.将 ArcGIS桌面程序安装目录下的文件([Installdir]\DatabaseSupport\PostgreSQL\9.2\Windows64)拷贝到postgresql安装目录下的lib文件夹 2.将32位的postgresql library 安装目录 bin文件夹的5个dll文件&…

配置 SDE 的 st_geometry

终于搞好了软件,搞好了 SDE 的 Post,现在还有一个问题,即使用 SQL 直接操作 sde for oralce,只有这种操作,才最高效,也是该项目的最终目标。 马上找了一个测试 sql 语句做试验: select sde.ST…

SDE —— 扩展SDE表空间容量

扩展SDE表空间容量 起因解决总体流程 查看表空间基本属性查看表空间物理存储文件位置及状态信息查看表空间中各“段类型(Segment)”创建新的物理存储文件以扩展表空间重设原有数据文件的大小使指定表空间物理文件容量自动增加使表空间自动扩容&#xff0…

CSND近期推出的猿如意到底怎么样?

CSND近期推出的猿如意到底怎么样? 投稿测评正文 猿如意传送门 猿如意下载地址:猿如意-程序员的如意兵器,工具代码,一搜就有 猿如意使用了几次了,今天来想分享一下我对于猿如意的使用感受吧!! 先说结论&#xff1a…

匆匆遭遇猿如意

刚刚收到一条消息,说有一个csdn的猿如意可以测试了,我就下载了一个,根据提示下载了,然后开始体验。 一、ChatGPT 谁让这个东西最近这么热呢,所以,我第一个就体验这个东东了,结果,结…

高效好用的开发工具箱——猿如意

目录 前言: 1.我常用的功能介绍 2.主要功能chatGPT测评 3.我的使用体验和改进建议 前言: 猿如意是一款帮助开发的效率工具,集成了许多有用的工具和文档教程。帮助开发者提升开发效率,帮你从“问题”找到“答案”。尤其是12月…

mongodb偶尔报错com.mongodb.MongoSocketReadException: Prematurely reached end of stream

项目开发中,链接mongodb的项目,偶尔报错com.mongodb.MongoSocketReadException: Prematurely reached end of stream 报错的详细信息: 2022-07-11 08:34:00.001 INFO 1 --- [ scheduling-1] o.s.d.mongodb.core.convert.QueryMapper :…

【强烈推荐】程序员平时使用最多的绘图软件之一!!!

draw.io 之前画图一般都是使用processOn(https://www.processon.com/),缺点就是只能通过网站画图,并且存在云端,不花钱想白嫖,只能画几张。 像我这种家庭条件,怎么用得起,而且我喜欢把东西存…