GPT-4爆火,去中心化算力能解决AI算力难题吗?

7d54ff91943bf26658028a7ab35ccf93.gif

上周,OpenAI 大型语言模型 GPT-4 一经公布便引发了全球科技圈与媒体的关注,60秒创建出一款小游戏,将一张草图快速变为功能性的网站,完美通过历史、数学等几乎所有的学科考试,检查代码漏洞等等,各种逆天的功能展示它极为强大的能力,可以说,GPT-4 成为了在知识、技能、逻辑领域的全能人才,比以往的任何 AI 都要强大,而这一款疯狂的产品或将预示着 AI 奇点的到来。

38300c60594202a1ef74b27929a5b1dd.png

GPT-4与GPT-3.5各项考试成绩对比

在 AI 开始不断刷新人们认知的同时,另一个更为底层的领域也同样发生着巨变,那就是算力。众所周知,AI 模型都需要消化大规模的数据,同时也需要消耗更为庞大的算力,诸如图像识别、自然语言处理和机器学习等各种AI应用和模型的训练,都依赖于庞大算力的加持。

据 OpenAl 此前发布的数据显示,从2012年到2020年,其算力消耗平均每3.4个月就翻倍一次,8年间算力增长了三十万倍,更不用谈自去年 ChatGPT 推出后爆火所带来的需求暴涨。

此外,AI 时代算力的增长也远远超过了摩尔定律每18个月翻番的速率,根据中国信息通信研究院的估算,2021年全球超算算力规模大约为14EFlops,预测到2030年全球超算算力将达到0.2ZFlops,平均年增速超过34%。AI 的奇点的到来也将会成就算力领域的黄金时代,同时,算力的发展好坏也将会影响着其未来的发展,两者彼此成就。

283cf76ef594a24b032d4b3a25a33608.png

OpenAl算力消耗情况 数据来源:阿里研究院《数实融合的第三次浪潮》

目前,关于 AI 算力的优化技术主要有以下几种:

01

GPU资源池化

通过虚拟化和远程调用,将GPU从硬件定义转换成软件定义的资源池,实现资源的共享、按需分配、弹性伸缩和统一管理。

02

计算精度优化

过混合精度计算,利用不同的浮点数类型在保证模型训练和推理效果的同时,降低数据传输和存储成本。

03

模型压缩优化

通过参数剪枝、量化等方法,减少模型参数量和计算复杂度,降低模型大小和内存占用。

面对算力需求的增长,短期内可以从软硬件和工程优化等角度解决,但在未来十年,二十年之后呢?当芯片逼近量子极限,当 AI 的进化需要越来越庞大的数据、越来越多的预训练模型参数、越来越高的算法精度时,会带来对算力需求的指数级增长,而且这种增长是长期性的,由此带来的成本问题将会成为一个不可规避的难题。同时这也会让 AI 只有巨头才能入局的游戏,据悉,OpenAI 接受微软投资的很大原因就是为了获得微软云 Azure 的计算支持。

所以,为了能降低成本,并获得更多的算力来支持 AI 项目的进一步发展,很多新兴企只能选择与大型云算力企业合作,作为交换让渡出部分权利,而去中心化的算力系统或许能在一定程度上解决这一问题,并降低 AI 模型训练的门槛。

去中心化算力是指将分散在不同地点、不同设备上的计算资源整合起来,形成一个去中心化的网络。以此,为 AI 应用提供更加灵活、高效、低成本的计算服务,其潜在优势体现以下几个方面:

01

提供分布式计算能力,支持人工智能模型的训练和运行,使任何人都能运行AI模型,并在来自全球用户的真实链上数据集上进行测试。

02

去中心化还可以通过创建一个强大的框架来解决隐私问题。

03

通过提供透明、可验证的计算过程,增强人工智能模型的可信度和可靠性。

04

通过提供灵活、可扩展的计算资源,支持人工智能模型在各种应用场景下快速部署和运行。

05

提供去中心化的数据存储和管理方案。

目前,已经有项目在探索以去中心算力+AI的组合,例如:

01

Gensyn

该协议通过智能合约方式促进机器学习(ML)的任务分配和奖励,来快速实现 AI 模型的学习能力,适用于深度学习计算的L1层,可以在大规模、低成本的网络中实现 ML。

02

Flux

一个基于区块链技术的去中心化 AI 平台,通过智能合约来规范 AI 任务的发布、执行和验证过程,并使用 Token 作为激励机制。

03

Golem

一个提供算力市场的点对点去中心化计算网络,支持任何人都可以通过创建共享资源的网络来共享和聚合计算资源。

但去中心化算力网络与 AI 的结合也需要解决验证问题,即如何确保运算结果的正确性和可信性。此外,算力增长所带来的电力消耗也是一个不可忽视的问题,据统计,训练 GPT-3 模型消耗的能源相当于120个美国家庭一年的耗电量,而这只是实际使用模型所消耗的电力的40%左右。

相比算力增长来说,能源电力称不上难题,随着技术的突破,AI 所展现出的潜力将会激发了更多的企业和研究机构投身其中,这些问题可能会被一一解决。而从计算机视觉到自然语言处理,从机器人学到推理、搜索,人工智能所带来的生产力变革正在改变我们当前的工作方式,在技术发展的道路上,科幻照进现实只是时间问题。

巴比特园区开放合作啦!

4f90540a1c06e6495f983accb3d8a97a.png

ce213b9ae902dcc881384641caf42466.jpeg

f755536b88799ea22bad791711d5b282.gif

中文推特:https://twitter.com/8BTC_OFFICIAL

英文推特:https://twitter.com/btcinchina

Discord社区:https://discord.gg/defidao

电报频道:https://t.me/Mute_8btc

电报社区:https://t.me/news_8btc

922fed084ed202da21f6cb1bdcd2d89f.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/42681.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

.NET周报 【5月第3期 2023-05-21】

国内文章 C# 实现 Linux 视频会议(源码,支持信创环境,银河麒麟,统信UOS) https://www.cnblogs.com/shawshank/p/17390248.html 信创是现阶段国家发展的重要战略之一,面对这一趋势,所有的软件应用…

谁是各领域AI的top1?人工智能领域AI工具排名,各类产品一网打尽(文本AI、图片AI、编程AI、办公AI、视频AI、音频AI,AI导航网站排名)链接简介、使用方法一目了然(持续更新)可玩性极高!

AI:人工智能领域AI工具产品集合分门别类(文本类、图片类、编程类、办公类、视频类、音频类、多模态类)的简介、使用方法(持续更新)之详细攻略 导读:最近,ChatGPT、GPT-4等人工智能技术席卷了互联网,吸引了众多人对AI相关应用的开发…

【论文系列解读】LLM构建通用视觉(SUR-Adapter)声音模型(Tango)

通用视觉&音频模型的思考 0. 视觉(Diff)怎么和多模态结合(0) 总结(1) 关键技术(1-1) LangChain(1-2) **Versatile Diffusion**(1-3) Tango(1-4) SUR-adapter 1. SUR-Adapter(0) 总结(1) 摘要(2) 相关工作(2-1) 文图生成 & LLM(2-2) 语义理解和推理数据集(2-2-1) 数据收…

边缘计算,光的形式

撰稿 | Philip(香港中文大学,博士生) “嘿,Siri,今天天气怎么样?” 设想这样一个场景,当你早上起床,向你的智能手机发起这样一个语音指令,从用户命令到结果可能有大约0.2…

文心一言 VS chatgpt (8)-- 算法导论2.3 5~6题

五、回顾查找问题(参见练习 2.1-3),注意到,如果序列 A 已排好序,就可以将该序列的中点与v进行比较。根据比较的结果,原序列中有一半就可以不用再做进一步的考虑了。二分查找算法重复这个过程,每次都将序列剩余部分的规…

考研复试50条,上岸第一条!

“上岸第一条” 众所周知,初试和复试在整个考研过程中占比都很高,初试不满意,复试需努力!如果你想通过考研复试,顺利上岸,这50条必须知道。 1.分数线出来应该做什么? (1)高分能够上目标专业&…

XSCTF联合招新【Simple-Math】(MSIC+Crypto)

文章目录 XSCTF联合招新【Simple-Math】(MSICCrypto)step1 打开题目文件step2 求解过程 XSCTF联合招新【Simple-Math】(MSICCrypto) step1 打开题目文件 step2 求解过程 给了我们一个线性方程组,然后让我们求解&…

挑战Man Group!顶级对冲基金的10道Python面试题

量化投资与机器学习编辑部 如果你正在面试一家对冲基金公司,你可能需要看看我们今天为大家提供的题目。 Man Group量化团队近期出了10道Python编程题,来考考大家的基本功究竟怎么样。 请不要借助计算机 不要偷看答案 看看自己的真实水平到底如何 假如面…

浙工大MBA提面通过顺利上岸经验分享

浙江工业大学2022级上岸学长前来分享一些经验。我当时参加了浙工大2021年4月份的第二批提前批面试,第一批次没赶上,不过也正好也多了一些时间更好的去进行材料的准备以及修改完善,好在最后提面和笔试双双通过。因为工大MBA项目自两年前开始取…

开源情报分析(OSINT)CTF社工类2万字题详细教程,请不要利用本文章做不道德的事,后果概不负责

简介 现在国内外最新的ctf比赛都有这个项目了,列如给你一个照片找地址或者人名,给你一个名字找他的社交账号什么的,考验选手的信息收集与社工能力,这篇文章对这类题型做一个基础的总结,以后遇到这种题型就知道该怎么做…

浙大英文MBA项目适合哪些人报考?达立易考解析

关于浙大MBA项目的结构划分,我们都知道有中文和英文两类,对于中文项目的各方向选择问题达立易考教育做了比较系统的分析,而英文项目中的全日制MBA项目我们也在浙江在职读研微信公众号上专门做过报考难易度和适应群体分析,本文专门…

20年福州大学计算机录取名单,万满意20年福州大学法硕报考——连续3年录取名单分数线数据分析...

在CWTS世界大学排行榜中,有一所学校曾力压清华、北大,跃居中国内地大学第一,这所学校既非复旦、浙大等985名校,也不在世界一流大学建设名单之列,而是位居东南一隅,以低调著称的福州大学。 在教育部第四轮学…

考研经历贴(2023)

公共课经验(数一英一) 前言 博主从1月份准备考研到9月份,最后由于一些运气因素意外保研,没有经历考研最核心的阶段,但是里面的经验可以使大家少走一些弯路,也希望大家辩证的参考。 高数备考 基础&#…

DASCTF NOV X联合出题人2022年度积分榜争夺赛!Crypto Wp

CRYPTO easy_hash 根据 e n c o d e ( ) encode() encode()函数,已知 a 1 a_1 a1​,可以求出 a 2 , a 3 a_2,a_3 a2​,a3​;已知 s e c r e t 1 secret_1 secret1​,可以求出 a 0 a_0 a0​; 根据 m y h a s h ( ) m…

最近很火的Chat Gpt到底是什么?为什么会这么火呢?我们怎么去使用Chat Gpt呢?

带着以上三个问题,下面进行回答: 1、Chat Gpt到底是什么? Chat GPT是一种基于GPT模型(Generative Pre-training Transformer)的聊天机器人技术,它可以通过学习大量真实对话数据,自动生成自然的…

泛娱乐出海走出水土不服,元宇宙社交诞生新机会!

据《2022 年移动时长报告》显示,2021 年第四季度全球消费者在 Android 手机上总共花费了约 9500 亿小时。2018 年第四季度到 2021 年第四季度,全球社交应用使用时长从 3060 亿小时增加到 4120 亿小时,增涨了 35%。 可以看到,当移动…

元宇宙大比拼:英伟达、facebook、iwemeta

0、云宇宙: iwemeta.com 开放数据中台 开发数据中台、物联网平台、区块链平台、深度学习平台、标签管理系统、舆情监控系统 数据采集、数据中台、数据决策、数据治理、数据管理工具 1、facebook 就像Facebook社交平台刚起步的时候一样,一开始许多人认为这个平台只…

元宇宙深度研究报告:元宇宙是互联网的终极形态?

报告出品方:华安证券 作者:尹沿技、张天、姚天航 1 元宇宙:剑指互联网的“终极形态” 1.1 元宇宙指向互联网的终极形态 元宇宙(Metaverse)概念起源于科幻小说,或指向互联网的“终极形态”。Metaverse 一词来…

ZBT Worlds与元宇宙

最近很火的元宇宙到底是什么呢? 随着VR/AR技术的成熟,虚拟世界对我们来说,好像都是从游戏娱乐方面展现开来,但是随着各种科技电影的出现,逐渐我们对于虚拟世界的幻想转移到了现实生活中来。当然,这种体验感…

腾讯、字节跳动、Facebook、英伟达谁能在元宇宙中脱颖而出呢?

元宇宙是运用大数据计算、BIM仿真、大数据融合等技术,运用于虚拟仿真、货币交易、人工识别等领域。元宇宙是一个平行于现实世界的虚拟世界,与现实世界相互作用相互影响。在基础设施完善的虚拟世界中,可以像现实的物理世界一样,全方…