科技云报道:“吞金兽”ChatGPT背后:AI算力告急!

科技云报道原创。

近两个月来,全世界的网友们都在兴致勃勃的“调教”ChatGPT,但第一个受不了的却是ChatGPT的所有者。
在这里插入图片描述

为了更长远的发展,OpenAI宣布了付费订阅版ChatGPT Plus,每月收费20美元。

虽然OpenAI表示,将持续提供免费版,并且收费项目也将更好的“帮助尽可能多的人使用免费服务”。但是《纽约时报》也指出“在高峰时段,免费版访问人数将受到限制。”

显然,收费会是ChatGPT这类AI服务长久发展的必然选择。

究其根源,在于ChatGPT“越来越聪明”的背后,需要庞大的费用支撑。其中,算力成本是最重要的,也是最不能偷工减料的一部分。

那么,ChatGPT到底需要多少算力来支撑?

“吞金兽”ChatGPT的算力消耗

ChatGPT对算力的消耗可以分为三个主要场景:

一是模型预训练过程,这是ChatGPT消耗算力的最主要场景。

ChatGPT采用预训练语言模型,在Transformer的模型架构下,语言预训练过程可以根据上下文一次处理所有输入,实现大规模并行计算。

通过堆叠多个解码模块,模型的层数规模也会随着提升,可承载的参数量同步增长。与之相对应的,模型训练所需要消耗的算力也就越大。

据OpenAI团队发表于2020年的论文《Language Models are Few-Shot Learners》,训练一次1746亿参数的 GPT-3模型需要的算力约为3640 PFlop/s-day。

即假如每秒计算一千万亿次,也需要计算3640天。

考虑到ChatGPT训练所用的模型是基于GPT-3.5模型微调而来,GPT-3.5模型增加了参数量和训练样本量,包含超过1746亿个参数,那么预估训练一次ChatGPT所需算力至少需要约3640 PFlop/s-day的算力。

东吴证券研报分析认为,ChatGPT的优化主要来自模型的增大,以及因此带来的算力增加。

GPT、GPT-2和GPT-3的参数量从1.17亿增加到1750亿,预训练数据量从5GB增加到45TB,其中GPT-3训练单次的成本就高达460万美元。

同时,模型开发过程很难一次取得成功,整个开发阶段可能需要进行多次预训练过程,因此对于算力的需求是持续的。

此外,从基础大模型向特定场景迁移的过程,如基于ChatGPT构建医疗AI大模型,需要使用特定领域数据进行模型二次训练,同样会增加训练算力需求。

二是模型迭代过程。

从模型迭代的角度来看,ChatGPT模型并不是静态的,而是需要不断进行模型调优,以确保模型处于最佳应用状态。

这一过程中,一方面是需要开发者对模型参数进行调整,确保输出内容不是有害和失真的;另一方面,需要基于用户反馈和PPO策略,对模型进行大规模或小规模的迭代训练。

因此,模型调优同样会为ChatGPT带来算力成本,具体算力需求和成本金额取决于模型的迭代速度。

三是日常运营过程。

在日常运营过程中,用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ChatGPT面向全球大众用户,用的人越多,带宽消耗越大,服务器成本只会更高。

据SimilarWeb数据,2023年1月ChatGPT官网总访问量为6.16亿次。

据Fortune杂志,每次用户与ChatGPT互动,产生的算力云服务成本约0.01美元。

基于此,ChatGPT单月运营对应成本约616万美元。

据上文,我们已知训练一次1746亿参数的GPT-3模型需要3640 PFlop/s-day的算力及460万美元的成本,假设单位算力成本固定,测算ChatGPT单月运营所需算力约 4874.4PFlop/s-day。

直观对比,如果使用总投资30.2亿、算力500P的数据中心来支撑ChatGPT的运行,至少需要7-8个这样的数据中心,基础设施的投入都是以百亿记的。

当然,基础设施可以通过租用的方式来解决,但算力需求带来的本压力依然巨大。

随着国内外厂商相继入局研发类似大模型,将进一步加大对算力的需求。

AI算力霸权时代的到来

模型算力需求增速超越芯片性能增速,算力霸权时代或将到来。

据OpenAI测算,自2012年以来,全球头部AI模型训练算力需求3-4个月翻一番,每年头部训练模型所需算力增长幅度高达10倍。

而摩尔定律认为,芯片计算性能大约每18-24个月翻一番。

数据显示,从2012年到2018年,训练AI所耗费的算力增长了30万倍,而摩尔定律在相同时间只有7倍的增长。

因此,AI训练模型算力需求增长与芯片计算性能增长之间的不匹配,或将带来对算力基础设施供给需求的快速增长。

考虑到算力对于AI模型训练效果的关键性作用,拥有更丰富算力资源的模型开发者,或将能够训练出更优秀的AI模型。

所以现在有一种说法:AI进入了新的算力霸权时代,大家要用千倍、万倍的算力才能训练出世界上最好的算法。

那么无论是谁参与进来,都需要回答一个问题:算力成本怎么解决?

在中国,这个答案就藏在国家如火如荼推进的“东数西算”工程里。

数据显示,我国算力产业规模快速增长,近五年平均增速超过30%,算力规模排名全球第二。

但在发展的过程中仍面临人均算力尚低、算力随需处理的需求难以满足、算力应用广度和深度不够等问题。

因此,国家“东数西算”工程通过构建全国一体化的新型算力网络,优化数据中心建设布局,将东部算力需求有序引导到西部,利用西部的资源优势,为数字中国的发展提供低碳、低成本的优质算力。

对于AI产业来说,“东数西算”也可以成为“东数西训”,即庞大的训练算力需求完全可以转移到算力成本更低,同时规模更具优势的西部数据中心中进行。

对应的,这些承载智能训练的数据中心本身,也将为更好的适应智能训练需求进行针对性改造,比如在能源供给、散热结构、机柜形态等方面更适合使用了大量智能训练芯片的服务器等。

这也为数据中心未来发展提出了新的思路。

数据中心建设将告别千篇一律的通用时代,进入以场景为指引、以应用为导向的“专用”时代,“东数西训”、“东数西渲”、“东数西存”等应用将成为主流方向。

目前,我国算力产业仍在高速增长。

据IDC与浪潮信息联合发布的《2022-2023中国人工智能计算力发展评估报告》显示,相较于2020年我国135EFLOPS的算力总规模,2022年我国智能算力规模近乎翻倍,达到268EFLOPS,超过通用算力规模;预计未来5年我国智能算力规模的年复合增长率将达52.3%。

未来,我国还应在算力方面进一步加强超算中心、智算中心和边缘数据中心建设,不断满足政府、行业、企业甚至个人等多样化的智能场景需要,以算力赋能智慧城市、智慧医疗、智慧农业等千行百业的高质量发展。

不仅如此,大力加强自主可控高端芯片生产能力,争取在量子芯片领域实现换道超车,加强算力人才培养,同样是保持我国AI算力领先的重要手段。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/33095.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

量化基金股票的投资策略有哪些?

销售市场上的量化策略包含销售市场双头发展趋势和销售市场主要表现中性化两一部分,销售市场双头发展趋势中包括指数增强和积极量化分析2个一部分,销售市场主要表现中性化中包含量化对冲,也就是所说的阿尔法策略(α对策&#xff09…

买基金必看

1.基金收益率由哪些因素决定(1)红利:是基金因购买公司股票而享有对该公司净利润分配的所得。一般而言,公司对股东的红利分配有现金红利和股票红利两种形式。基金作为长线投资者,其主要目标在于为投资者获取长期、稳定的…

如何投资股票型基金?什么时间买?买什么?

数量技术宅团队在CSDN学院推出了量化投资系列课程 欢迎有兴趣系统学习量化投资的同学,点击下方链接报名: 量化投资速成营(入门课程) Python股票量化投资 Python期货量化投资 Python数字货币量化投资 C语言CTP期货交易系统开…

Android 7大常用算法

1.插入排序算法 插入排序的基本思想是在遍历数组的过程中,假设在序号 i 之前的元素即 [0…i-1] 都已经排好序,本趟需要找到 i 对应的元素 x 的正确位置 k ,并且在寻找这个位置 k 的过程中逐个将比较过的元素往后移一位,为元素 x …

如何和AI聊天

AI产品工具目录:AI产品目录 Prompt 在和AI聊天时,你得表明你需要啥,并且描述的越精确,AI回答的就越贴近你的预期,简单的对话,可以自己尝试,但是如果想做应用级别的就得学习这种聊天技术&#…

ai聊天对话工具哪种好用?这些ai对话聊天工具不要错过

在如今信息爆炸的时代,人工智能技术正在逐渐渗透到我们的生活和工作中。ai对话聊天技术作为其中的一项重要应用,吸引了越来越多的关注。但是,ai对话聊天技术并不是万能的,它需要一定的技巧和策略才能真正发挥其价值。那么&#xf…

ChatGPT聊天新玩意:如何让AI成为你的聊天好友?

目录 引言: 案例: 淄博旅游第一版本: 分析: 淄博旅游第二版本: 分析: 总结: 万能公式: 引言: ChatGPT是什么?今天用一句话概括,它就是新…

Google Translate 与 ChatGPT:您应该使用哪一个来翻译文本?

在翻译语言方面,两个流行的竞争者是谷歌翻译和ChatGPT。但是哪一个是最好的,谁是谷歌翻译与ChatGPT比赛的赢家? 为了找到答案,PC Mag进行了彻底的评估,将ChatGPT与其竞争对手Bing AI和Google Bard进行了比较。他们的目…

手把手教你爬取网站信息

如题,理解这一部分需要一定的Python基础,有些代码我不做详细解释了,但是用这个方法是确实可以爬到的。 爬取电影的详情数据 1. 在抓包⼯具中先定位到和浏览器地址栏的⽹址⼀样的数据包 ①在页面中右击鼠标,点击检查,…

如何抓取网页中的实时监测数据进行分析

使用wpf做了窗体&#xff0c;跟Silverlight开发环境一样&#xff0c;将前台设计与后台开发逻辑分离开来&#xff0c;抓取南京市九个PM 2.5监测站点的数据 前台代码&#xff1a; <Grid><Button Content"数据获取" Height"23" HorizontalAlignment&…

如何抓取网页数据

如何抓取网页数据&#xff0c;每当我们在网上找到自己想到的数据&#xff0c;都需要复制粘贴或下载然后一步一步地整理。今天教大家如何快速地免费获取网页数据信息&#xff0c;只需要输入域名点选你需要的数据&#xff0c;软件全自动抓取。支持导出各种格式并且已整理归类。详…

用wireshark抓取QQ聊天发送的图片

前言 老师在上课的时候演示了用wireshark抓取QQ发送出去的图片&#xff0c;蛮有意思的&#xff0c;复现一下。 一、使用工具 这里用到的是wireshark这个网络抓包工具&#xff0c;还有winhex这个十六进制编辑器&#xff0c;附上下载地址 wireshark&#xff1a;https://www.wire…

爬取某知名网站的数据

爬取某知名网站的数据&#x1f604; 爬虫 骚操作 不讲武德 耗子尾汁 增加你的浏览量 github传送门&#xff1a; https://github.com/rzy0901/CSDN_visitor 需要安装的包 1️⃣ BeautifulSoup2️⃣ urllib安装方法&#xff1a; 百度 随缘 pip install xxx 代码函数介绍 …

数据可视化网页内容自动抓取工具

网页内容提取支持我们对公开的网页信息数据进行提取&#xff0c;如果通过人工对网页数据采集&#xff0c;是一个繁琐的工作&#xff0c;网页内容提取工具通过可视化的操作页面&#xff0c;模拟人工进行网页内容提取&#xff0c;能快速获取整个网站的对应元素。 网页内容提取工具…

Charles抓取http接口数据

##1.Charles抓取http接口数据 这个资料网上一大堆&#xff0c;此处不再赘述。本着认真负责的态度我还是到网上找了一篇图文并茂的文章供大家参考 iOS使用Charles&#xff08;青花瓷&#xff09;抓包并篡改返回数据图文详解 值得一提的是&#xff0c;这篇文章中讲解的使用Charle…

从网页抓取数据的一般方法

首先要了解对方网页的运行机制 &#xff0c;这可以用httpwacth或者httplook来看一下http发送和接收的数据。这两个工具应该说是比较简单易懂的。这里就不再介绍了。主要关注的内容是header和post的内容。一般会包括cookie&#xff0c;Referer页面和其他一些乱其八糟可能看不懂的…

如何简单的抓取网站数据

1.首先&#xff0c;用带debug的火狐浏览器&#xff0c;访问要抓取的网站&#xff0c;通过debug的控制台或网络找到数据的接口。 2.Spring框架自3.0版本起&#xff0c;自带了任务调度功能&#xff0c;好比是一个轻量级的Quartz&#xff0c;而且使用起来也方便、简单&#xff0c;…

利用Wireshark抓取QQ的数据流

一、准备工作 1、下载好Wireshark。 2、在手机和电脑分别登录同一个 QQ。 3、电脑和手机连同一个网络&#xff08;WiFi和或者手机热点&#xff09;。 二、操作阶段 1、打开Wireshark。 2、查看手机所连接网络的ip地址。 3、选择WLAN&#xff0c;在搜索栏输入ip.src ip地…

如何实时抓取动态网页数据?

我们所生活的数字世界正在不断地产生大量的数据。利用动态大数据已经成为企业数据分析的关键。 在本文中&#xff0c;我们将回答以下几个问题&#xff1a; 1、为什么采集动态数据很重要? 2、动态数据是如何有效的促进业务增长? 3、最重要的是&#xff0c;我们如何能够轻松…