重磅!微软开源Deep Speed Chat,人人拥有ChatGPT!

点击上方“AI遇见机器学习”,选择“星标”公众号

第一时间获取价值内容

6d719af8888ca126bd83e22726ca3720.gif

【导读】微软开源的DeepSpeed Chat,让开发者实现了人手一个ChatGPT的梦想!

人手一个ChatGPT的梦想,就要实现了?

刚刚,微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。

也就是说,各种规模的高质量类ChatGPT模型,现在都唾手可得了!

297720c233e7b0b031426b7e81cff5c0.png

项目地址:https://github.com/microsoft/DeepSpeed

一键解锁千亿级ChatGPT,轻松省钱15倍

众所周知,由于OpenAI太不Open,开源社区为了让更多人能用上类ChatGPT模型,相继推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等模型。

但由于缺乏一个支持端到端的RLHF规模化系统,目前类ChatGPT模型的训练仍然十分困难。而DeepSpeed Chat的出现,正好补全了这个「bug」。

9b26ab82d9c50ca98bfd979c719e61e4.png

更亮的是,DeepSpeed Chat把成本大大地打了下来。

此前,昂贵的多GPU设置超出了许多研究者的能力范围,并且,即使能访问多GPU集群,现有的方法也无力负担数千亿参数ChatGPT模型的训练。

现在,只要花1620美元,就可以通过混合引擎DeepSpeed-HE,在2.1天内训练一个OPT-66B模型。

而如果使用多节点、多GPU系统,DeepSpeed-HE可以花320美元,在1.25小时内训练一个OPT-13B模型,花5120美元,就能在不到一天的时间内训练一个OPT-175B模型。

前Meta AI专家Elvis激动转发,称这是一件大事,并表示好奇DeepSpeed Chat和ColossalChat相比起来如何。

3c035688cf8bc5039a012d8ccb831cc8.png

下面,我们就来看看效果如何。

经过DeepSpeed-Chat的训练,13亿参数版「ChatGPT」在问答环节上的表现非常亮眼。不仅能get到问题的上下文关系,而且给出的答案也有模有样。

4cf3493a13ed9f6caab7659e78a01847.gif

在多轮对话中,这个13亿参数版「ChatGPT」所展示出的性能,也完全超越了这个规模的固有印象。

6f75bc0fd982802d15a73738ed10bc9d.gif

一段代码,生成你的第一个ChatGPT

当然,在体验之前,还需要把环境配置一下:

 
git clone https://github.com/microsoft/DeepSpeed.git
cd DeepSpeed
pip install .git clone https://github.com/microsoft/DeepSpeedExamples.git
cd DeepSpeedExamples/applications/DeepSpeed-Chat/
pip install -r requirements.txt

一杯咖啡,训完13亿参数版ChatGPT

如果你只有大约1-2小时的咖啡或午餐休息时间,也可以尝试使用DeepSpeed-Chat训练一个「小玩具」。

团队特地准备了一个针对1.3B模型的训练示例,可在消费级GPU上进行测试。最棒的是,当你从午休回来时,一切都已准备就绪。

python train.py --actor-model facebook/opt-1.3b --reward-model facebook/opt-350m --num-gpus 1

配备48GB显存的消费级NVIDIA A6000 GPU:

09ab949b350c4e7db27bede00bb69d5b.png

一个GPU Node,半天搞定130亿参数

如果你只有半天的时间,以及一台服务器节点,则可以通过预训练的OPT-13B作为actor模型,OPT-350M作为reward模型,来生成一个130亿参数的类ChatGPT模型:

python train.py --actor-model facebook/opt-13b --reward-model facebook/opt-350m --num-gpus 8

单DGX节点,搭载了8个NVIDIA A100-40G GPU:

6a0d3381764f8ec70f2878808408dcab.png

超省钱云方案,训练660亿参数模型

如果你可以使用多节点集群或云资源,并希望训练一个更大、更高质量的模型。那么只需基于下面这行代码,输入你想要的模型大小(如66B)和GPU数量(如64):

python train.py --actor-model facebook/opt-66b --reward-model facebook/opt-350m --num-gpus 64

8个DGX节点,每个节点配备8个NVIDIA A100-80G GPU:

179959a7b0201bcfa687e00935b6f938.png

具体来说,针对不同规模的模型和硬件配置,DeepSpeed-RLHF系统所需的时间和成本如下:

58b4f65f7d90b235c2b16193f18b301e.png

DeepSpeed Chat是个啥?

DeepSpeed Chat是一种通用系统框架,能够实现类似ChatGPT模型的端到端RLHF训练,从而帮助我们生成自己的高质量类ChatGPT模型。

f4b0b09cefa4647377657b975acca0a9.png

DeepSpeed Chat具有以下三大核心功能:

1. 简化ChatGPT类型模型的训练和强化推理体验

开发者只需一个脚本,就能实现多个训练步骤,并且在完成后还可以利用推理API进行对话式交互测试。

2. DeepSpeed-RLHF模块

DeepSpeed-RLHF复刻了InstructGPT论文中的训练模式,并提供了数据抽象和混合功能,支持开发者使用多个不同来源的数据源进行训练。

3. DeepSpeed-RLHF系统

团队将DeepSpeed的训练(training engine)和推理能力(inference engine) 整合成了一个统一的混合引擎(DeepSpeed Hybrid Engine or DeepSpeed-HE)中,用于RLHF训练。由于,DeepSpeed-HE能够无缝地在推理和训练模式之间切换,因此可以利用来自DeepSpeed-Inference的各种优化。

DeepSpeed-RLHF系统在大规模训练中具有无与伦比的效率,使复杂的RLHF训练变得快速、经济并且易于大规模推广:

  • 高效且经济:

DeepSpeed-HE比现有系统快15倍以上,使RLHF训练快速且经济实惠。

例如,DeepSpeed-HE在Azure云上只需9小时即可训练一个OPT-13B模型,只需18小时即可训练一个OPT-30B模型。这两种训练分别花费不到300美元和600美元。

d463acdab13c811b3b7708a47bbb940b.png

  • 卓越的扩展性:

DeepSpeed-HE能够支持训练拥有数千亿参数的模型,并在多节点多GPU系统上展现出卓越的扩展性。

因此,即使是一个拥有130亿参数的模型,也只需1.25小时就能完成训练。而对于拥有1750 亿参数的模型,使用DeepSpeed-HE进行训练也只需不到一天的时间。

1c47bacbcb413266c8582ba2a375f928.png

  • 实现RLHF训练的普及化:

仅凭单个GPU,DeepSpeed-HE就能支持训练超过130亿参数的模型。这使得那些无法使用多GPU系统的数据科学家和研究者不仅能够轻松创建轻量级的RLHF模型,还能创建大型且功能强大的模型,以应对不同的使用场景。

06e2d1a1ba27b07f3c80bb1d86249287.png

完整的RLHF训练流程


为了提供无缝的训练体验,研究者遵循InstructGPT,并在DeepSpeed-Chat中包含了一个完整的端到端训练流程。

d9ac7bd89630cff6ba0988a618b20aad.png

DeepSpeed-Chat的RLHF训练流程图示,包含了一些可选择的功能

流程包括三个主要步骤:

  • 第 1 步:

监督微调 (SFT),使用精选的人类回答来微调预训练的语言模型,以应对各种查询。

  • 第 2 步:

奖励模型微调,用一个包含人类对同一查询的多个答案打分的数据集,来训练一个独立的(通常比SFT小)奖励模型(RW)。

  • 第 3 步:

RLHF训练,在这一步,SFT模型通过使用近似策略优化(PPO)算法,从RW模型的奖励反馈进一步微调。

在步骤3中,研究者还提供了两个附加功能,来帮助提高模型质量:

- 指数移动平均线(EMA)的收集,可以选择一个基于EMA的检查点,进行最终评估。

- 混合训练,将预训练目标(即下一个词预测)与 PPO 目标混合,以防止在公共基准(如SQuAD2.0)上的性能回归。

ccee09abf788a8f960432ec8957f0305.png

EMA和混合训练这两个训练特征,常常被其他的开源框架所忽略,因为它们并不会妨碍训练的进行。

然而,根据InstructGPT,EMA检查点往往比传统的最终训练模型提供更好的响应质量,而混合训练可以帮助模型保持训练前的基准解决能力。

因此,研究者为用户提供了这些功能,让他们可以充分获得InstructGPT中描述的训练经验。

而除了与InstructGPT论文高度一致外,研究者还提供了功能,让开发者使用多种数据资源,训练自己的RLHF模型:

  • 数据抽象和混合能力:

DeepSpeed-Chat配备了(1)抽象数据集层,以统一不同数据集的格式;以及(2)数据拆分/混合功能,从而使多个数据集被适当地混合,然后在3个训练阶段进行分割。

7cf045009dc9b69b63880c332f7cd9df.png

DeepSpeed混合引擎

指示引导的RLHF管道的第1步和第2步,类似于大模型的常规微调,它们由基于ZeRO的优化和DeepSpeed训练中灵活的并行策略组合,来实现规模和速度。

而管道的第3步是在性能影响方面最复杂的部分。

每个迭代都需要有效地处理两个阶段:a)推理阶段,用于token/经验的生成,产生训练的输入;b)训练阶段,更新actor和reward模型的权重,以及它们之间的互动和调度。

它引入了两个主要的困难:(1)内存成本,因为在整个第三阶段需要运行多个SFT和RW模型;(2)生成回答阶段的速度较慢,如果没有正确加速,将显著拖慢整个第三阶段。

此外,研究者在第三阶段增加的两个重要功能——指数移动平均(EMA)收集和混合训练,将产生额外的内存和训练成本。

217c495e9575def917ea3bb1dbdc6ebc.png

为了应对这些挑战,研究者将DeepSpeed训练和推理的全部系统能力组成了一个统一的基础设施,即混合引擎(Hybrid Engine)。

它利用原有的DeepSpeed引擎进行快速训练模式,同时毫不费力地应用DeepSpeed推理引擎进行生成/评估模式,为第三阶段的RLHF训练提供了一个更快的训练系统。

如下图所示,DeepSpeed训练和推理引擎之间的过渡是无缝的:通过为actor模型启用典型的eval和train模式,在运行推理和训练流程时,DeepSpeed选择了不同的优化,以更快地运行模型,并提高整个系统的吞吐量。  

d33b5dd5e77991a309eae8172b82edf7.png

用于加速RLHF流程中最耗时部分的DeepSpeed混合引擎设计

在RLHF训练的经验生成阶段的推理执行过程中,DeepSpeed混合引擎使用轻量级的内存管理系统,来处理KV缓存和中间结果,同时使用高度优化的推理CUDA核和张量并行计算,与现有方案相比,实现了吞吐量(每秒token数)的大幅提升。

在训练期间,混合引擎启用了内存优化技术,如DeepSpeed的ZeRO系列技术和低阶自适应(LoRA)。

而研究者设计和实现这些系统优化的方式是,让它们彼此兼容,并可以组合在一起,在统一的混合引擎下提供最高的训练效率。

混合引擎可以在训练和推理中无缝地改变模型分区,以支持基于张量并行的推理,和基于ZeRO的训练分片机制。

它还可以重新配置内存系统,以便在每一种模式中最大限度地提高内存可用性。

这就避免了内存分配瓶颈,能够支持大的batch size,让性能大大提升。

总之,混合引擎推动了现代RLHF训练的边界,为RLHF工作负载提供了无与伦比的规模和系统效率。

635c6b12d0517f823b8384b2c08744e5.png

效果评估


与Colossal-AI或HuggingFace-DDP等现有系统相比,DeepSpeed-Chat具有超过一个数量级的吞吐量,能够在相同的延迟预算下训练更大的演员模型或以更低的成本训练相似大小的模型。

例如,在单个GPU上,DeepSpeed使RLHF训练的吞吐量提高了10倍以上。虽然CAI-Coati和HF-DDP都可以运行1.3B的模型,但DeepSpeed可以在相同的硬件上运行6.5B模型,直接高出5倍。

82554b593212b8d8de3a9bf0d9a80f53.png

在单个节点的多个GPU上,DeepSpeed-Chat在系统吞吐量方面比CAI-Coati提速6-19倍,HF-DDP提速1.4-10.5倍。

3b7a4e90520307f126808eb653cdf252.png

团队表示,DeepSpeed-Chat能够获得如此优异的结果,关键原因之一便是混合引擎在生成阶段提供的加速。

854ddd5de19cbc78e3e2772206c1c93d.png

参考资料:

https://github.com/microsoft/DeepSpeed

收集不易,我将资料免费分享在我的星球,后续也将会持续更新

欢迎大家加入我的这个”AIGC与GPT“知识星球,价格便宜,目前已有近70人

作为一个大厂算法工程师和机器学习技术博主,我希望这个星球可以:

  • 【最全免费资源】免费chatgpt-API,最新AIGC和GPT相关pdf报告和手册。

  • 【最专业算法知识】Transformer、RLHF方法、多模态解读及其论文分享。

  • 【最新变现姿势】如何结合ChatGPT应用落地,各种可以作为副业的AIGC变现方式,打好这个信息差。

  • 【最有趣AICG】ChatGPT+midjourney拍电影,制作壁纸,漫画等等有趣的AICG内 容分享。

dd04a1b25abaef843a0402f818a21efb.jpeg

另外这里会保存我收集的各种关于AIGC的资源和资料,包括AI绘画-midjourney,ChatGPT, GPT-4,百度-文心一言的各种资料。会保持持续更新,欢迎大家自行拿取。(网盘地址和密码在知识星球自取!)4681ef5653936cdfd0e547dd448be198.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/12134.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微软CHAT-GPT4研究报告(全中文版)

下载地址 :​​​​​​​javaTodo: 打造java开发一站式套件 (gitee.com)

ChatGPT教你如何用Python和Matplotlib绘图(下)

想学习用 Python 绘图吗?ChatGPT 将为您提供帮助。 微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩 该项目要求 ChatGPT 教您如何生成用于创建绘图和可视化的 Python 代码。只需简要描述您要创建的绘图,ChatGPT 就会…

什么是 chatGPT?

OpenAI 的语言模型ChatGPT是 AI 研究的最新突破。ChatGPT建立在GPT(生成式预训练转换器)架构之上并经过调整以执行各种任务——从响应查询到生成文本片段甚至朗诵诗歌——ChatGPT 已迅速成为可用于自然语言处理的最强大工具之一。 ChatGPT 因其在理解和…

Titanic 泰坦尼克号预测-Tensorflow 方法-【Kaggle 比赛】

本文介绍Kaggle入门比赛Titanic泰坦尼克号幸存预测的解题思路,使用的是神经网络和Tensorflow框架。提交代码附在本文的最后部分。 基本思路为: 导入数据集对数据预处理训练预测并输出结果 一、入门介绍 1. 比赛介绍 Kaggle是一个数据建模和数据分析竞赛平台。 泰…

霍金

伟大的物理学家去世了,他的事迹将永远停留在这一页。请让我问您沉痛哀悼。。。

热重分析(TG)基本原理与实战分析

TG的基本原理? 热重分析(thermogravimetric analysis, TG或者TGA)是指在程序控温条件下测量待测样品的质量与温度变化关系的一种热分析技术,可以用来研究材料的热稳定性和组分。 注:之所以定义为质量的变化而非重量变化是基于在磁场作用下&a…

思维模型 霍金斯能量场(能量层级)

本系列文章 主要是 分享 思维模型,涉及各个领域,重在提升认知 1 模型故事 霍金斯能量场-组织 科学家发现,在任何一个组织里面,霍金斯能量场 这个规律也是完全适用的。少数高层级的人的意识能量可以抵消绝大多数人的意识负能量。…

Kaggle系列(一):Spaceship Titanic(太空飞船泰坦尼克)

开坑开坑Kaggle系列(通过kaggel练习机器学习与数据分析能力) 2022年3月9日,这是第一个版本的太空泰坦尼克任务 我的Github中发布了本任务包含的相应源码与思路分析讲解,欢迎来⭐。 本文主要记录如何对数据进行分析的过程。 开…

霍金-现代最伟大的物理学家之一、20世纪享有国际盛誉的伟人之一

据 BBC 等多家外媒报道,知名物理学家史蒂芬霍金已经去世,享年 76 岁。 霍金的家人在周三凌晨发表声明,证实他已在剑桥的家中死亡。霍金的孩子 Lucy , Robert 和Tim 在一份声明中说:“我们亲爱的父亲今天去世了!我们感到…

刚刚,霍金的一个预言成真了,这次吓坏不少人!

1 刚刚去世的霍金,对于人工智能,曾有这样的预言: 如果有人设计计算机病毒,那么就有人设计不断自我完善、直到最终超越人类的人工智能,其结果将是一种新的生命形式。 你可能并不是一个讨厌蚂蚁的人,但也会无…

霍金与硅谷:你不知道的故事

硅谷Live / 实地探访 / 热点探秘 / 深度探讨 “我的名字是斯蒂芬霍金,在过去的50年中,我到全世界进行演讲和学习,给大众普及关于时间和空间的奥秘,还有那掌握全宇宙的法则。” Welcome to my world。 2012年,6月19日晚…

细数霍金关于AI的五大预言,向伟大的科学巨人致敬

今天,我们这个时代最著名的物理学家之一斯蒂芬霍金去世了,享年76岁。这位英国科学家以其在黑洞和相对论方面的开创性著作而闻名,并撰写了几部畅销书。 2017年,霍金宣布将他在1966年,也就是24岁时撰写的博士论文上传到剑…

霍金去世 但他对人工智能的预言时刻提醒着人类!【附霍金一生大事记】

▼ 点击上方蓝字 关注网易智能 为你解读AI领域大公司大事件,新观点新应用 【网易智能讯 3月14日消息】据英国天空新闻等多家媒体报道,世界著名物理学家史蒂芬霍金去世,享年76岁。 让我们回顾下霍金的一生: 1968年 霍金与乔治艾利斯…

《时代》专访ChatGPT之父:人工智能影响经济还需要很多年

划重点: ① OpenAI的首席执行官山姆奥特曼(Sam Altman)曾表示,如果使用不当,人工智能会让所有人都消亡。 ② 在倡导人工智能可能性的同时,奥特曼敦促政策制定者制定规则和通过监管来减轻人工智能可能带来的…

知识就是力量,图谱路在何方 | ChatGPT冲击下,招商银行如何“抢救”知识图谱?

“知识就是力量”我们耳熟能详,但培根的这句话其实还有后半句“更重要的是运用知识的技能”。对于人工智能来说,知识图谱就是其如何对知识进行运用的技能体现。在金融领域,如何运用这一技能更好地理解客户需求,提高业务效率和客户…

可以免费使用的ChatGPT-4,微软开放Bing Chat功能,供用户体验

微软Bing取消了 Bing Chat的等待名单,现在用户可以通过使用 Edge 浏览器并使用微软帐户登录就可以使用Bing Chat了。 ▐ 入口 打开Bing首页,用户点击 "聊天/Chat" 即可进入Bing Chat界面。目前Bing Chat提供了三种响应风格(更有创…

ChatGPT vs. Bing vs. Bard

随着 2022 年 ChatGTP 的推出,人工智能聊天机器人的世界突然走上了一条新道路。如今,密切关注 AI 的人都知道,不同公司推出了几款产品。从谷歌拥有自己的 Bard AI,到微软发布新的 Bing AI Chat,再到 OpenAI 发布GPT-4。…

嗯?大火的ChatGPT和new bing都离不开它?

概述:本文是对 WhalePaper 向量检索领域第一次直播活动内容的文字版,会对向量检索这个 ChatGPT 和 new bing 都离不开的技术进行介绍,结合了 ChatGPT 以及 new bing 的应用场景进行讲解,相信被标题骗进来的你还真能有所收获的&…

微软再次挑战谷歌搜索市场,Bing已经深度整合OpenAI,你会用 Bing 的 ChatGPT 做些什么?

输入特定关键字并努力寻找所需信息的日子已经一去不复返了 输入特定关键字并努力寻找所需信息的日子已经一去不复返了。Microsoft Bing 即将发布其 ChatGPT 集成,这将允许用户以自然的方式提问并获得量身定制的搜索体验,这将重塑我们探索互联网的方式。 我预览了 Bing 的 C…