独家对话黄仁勋:关于生成式AI、算力能耗的一些追问

7494e0305eeb781d29d71bb2d6a16fc5.png

来源:与非网eefocus

作者:张慧娟

随着ChatGPT的爆火,黄仁勋最近频频强调:“我们正处于AI的iPhone时刻”。GTC上,他对媒体详解了这一观点的由来,在他看来——一个新的计算平台已经开发出来了。

过去大约每15年一波的科技潮流中,不论是PC革命、互联网革命、云计算、移动云等等,每一波潮流都创建出了一个新的计算平台,新的应用程序由此产生,业界用一种新的方式对计算机进行编程。而这一次,ChatGPT划时代地“使人类语言成为新的编程方式”。

“我们只需要告诉ChatGPT想要什么,它就可以理解我们的意图,给出令人惊叹的结果”,黄仁勋说道,“这意味着,人们可以用任何语言‘编程’,不论是英语、中文、法语、日语……人工智能的发展正因此而变得更加通用——这是一个临界点的时刻,也是非常重要的过渡。”

02dfda3f0ad4c370fd4475cde38c44eb.gif

ChatGPT背后的AI超级计算机

毫无疑问,NVIDIA技术是这一波生成式 AI发展的基础,黄仁勋讲述了NVIDIA如何在变革初期就已参与进来。早在2016年,他就向OpenAI亲手交付了第一台NVIDIA DGX AI超级计算机,这也是支持ChatGPT大型语言模型突破背后的引擎。

50afb9f83c6aed42d4ae83391433d76e.jpeg

37e809107fd809f51a0dd5682d174ef4.jpeg

黄仁勋表示:“如果把加速计算比作曲速引擎,那么AI就是动力来源。生成式AI的非凡能力,使得企业产生了紧迫感,他们需要重新构思产品和商业模式。”

值得一提的是,最初作为 AI 研究仪器使用的NVIDIA DGX超级计算机现已在世界各地的企业中全天候运行,用于完善数据和处理 AI。《财富》100 强企业中有一半都安装了DGX AI超级计算机。

而随着ChatGPT大型语言模型连接到办公自动化、办公应用程序和生产力应用程序等,AI将无所不在,而DGX 超级计算机将有望成为“现代AI工厂”。

4bb30166d62b96c0b5f6e4f667cb1554.gif

无止境的算力需求下

如何实现“可持续”计算

伴随生成式AI的爆发式应用,一个可预见的趋势是:AI模型、数据量将越来越大,导致所需的算力规模也越来越大。与传统计算相比,GPU的耗电量也是业界的“吐槽点”。那么,在这样的趋势下,NVIDIA如何应对能耗问题,从而符合绿色节能的可持续发展方向?

黄仁勋告诉<与非网>,可持续非常重要,也是NVIDIA的关注重点。他指出,AI加速计算在当今世界的计算中只占很小一部分。事实上,在过去40年的发展中,世界上绝大多数计算都是由摩尔定律驱动的。但是,在过去5年左右,摩尔定律开始急剧放缓,这是因为我们在逼近物理学的极限,我们可以缩小晶体管,但不能缩小原子。一个随之而来的挑战就是:如果摩尔定律结束,世界会发生什么?

“现在,我们需要的计算量更大了。但是,性能每提高10倍,或吞吐量提高10倍,功耗就增加10倍、成本增加10倍,这是不可持续的”,黄仁勋表示,“因此,我们首要做的一件事就是加快每一个可能的工作量。”

加速计算之所以有效,就因为它是全栈的。它发明了新的软件、新的算法、新的芯片、新的系统,对于每个应用程序域,通过执行这样全栈的操作,可以将计算性能显著提升。例如在计算光刻领域,作为EDA工作中计算最密集的应用程序,加速计算可以将其性能提高50倍、功耗和成本降低近10倍。

“这就是加速计算要做的事情,一项接一项工作负载、一个接一个应用程序域”,黄仁勋表示。比如在数据中心,通过加速工作负载,就可以减少电力使用,从而可以将其转移到新的增长中。“如果通过加速回收10倍的动力,想象一下我们有多少增长机会?”,他强调。

至于实现可持续发展的具体手段是什么?黄仁勋强调,“第一,我们必须加快应用程序的速度;第二就是AI。”他解释说,我们今天用于仿真模拟的方法是所谓的第一原理,它基本适用于物理定律。(注:在物理中,第一原理(First Principle)是指不需要任何经验设定与拟合参数,只从最基本的物理定律出发,就可以推出系统的基本性质。)

就像小狗能够跳起来接住抛到空中的球一样,它能够仅凭经验就预测到球的飞行位置,训练AI也是如此,“我们通过教AI物理定律,可以让AI有能力将计算量减少1万或10万倍。一旦AI可以利用知识、利用技能来预测物理,就可以有效节省计算量,从而节约能源”,黄仁勋指出。

9c40999d92f4ea69bf9a284d52dee4fe.gif

加速计算光刻的“iPhone时刻”

4f0e6702621d4b6ae59ae7343be70b1c.jpeg

图源 | Nvidia

正如上文中黄仁勋提到的计算光刻应用,随着当前生产工艺接近物理学极限,NVIDIA将加速计算引入到计算光刻领域,通过cuLitho助力ASML、TSMC和Synopsys等半导体头部企业加速新一代芯片的设计和制造。

据了解,TSMC、Synopsys 正在将NVIDIA cuLitho 计算光刻技术软件库整合到最新一代 NVIDIA Hopper架构GPU的软件、制造工艺和系统中。ASML也正在就GPU和cuLitho与NVIDIA 展开合作,并计划在其所有计算光刻软件产品中加入对 GPU 的支持。

在计算光刻领域引入加速计算的意义究竟是什么?

毋庸置疑,芯片产业几乎是每一个行业的基础。而在半导体制造过程中,光刻技术决定着芯片晶体管的尺寸,NVIDIA cuLitho 计算光刻技术软件库可为2纳米及更高工艺奠定基础。

类似于在摄影中将底片上的图像曝光到相纸上一样,光刻工艺利用光在硅晶圆上生成表示芯片设计的图案。计算光刻的作用就是补偿因衍射或光学、抗蚀剂和蚀刻邻近效应而导致的任何图像误差。借助OPC软件,开发者可以利用算法和数学方法以及大量仿真工作来操控光线,从而实现计算光刻过程。

这个过程涉及到利用各种各样的“假设”场景来找到正确的配置,以尽可能地提高转印图案的准确性。例如,在光线周围投射一些精心挑选的合适伪影,比如可以操控光线的衬线,可以在晶圆上生成更接近原始掩模的图案。

计算光刻作为一项资源密集型工作,通常需要大量数据中心来处理相关计算和仿真运行。这一过程可能需要很长的时间,即使是使用最强大的计算机也是如此。与此同时,开发者希望在芯片上封装更多的晶体管,这进一步增加了光刻的挑战,此外,计算工作负荷也是只增不减。计算光刻的仿真环节成为该过程最耗时的部分之一,因为光刻过程中每个步骤的详细模型都需要进行仿真。全芯片应用中可能有数百万个Tile,因此必须具有超快的掩模合成计算速度。

为了实现所需的性能提升,将cuLitho集成到Synopsys全芯片掩模合成解决方案和Proteus ILT逆光刻技术中并进行优化,可在新一代NVIDIA Hopper架构GPU上运行。如此一来,传统配置上需要40000个CPU的系统,仅需要500个NVIDIA DGX H100节能型GPU系统。计算光刻工艺的所有部分都可以并行运行,减少所需功耗并且运行时间从数周缩短到数天。

d1775517f22e26a5ac4b205560df6f00.gif

生成式AI需要充分的供应链准备

在生成式AI需求爆发式增长的背景下,黄仁勋认为,行业需要进行充分的供应链准备,以满足全球对AI的需求。

为了帮助企业部署处于快速发展的生成式 AI 模型,黄仁勋发布了用于 AI 视频、图像生成、大型语言模型部署和推荐器推理的推理平台。这些平台将NVIDIA的全套推理软件与最新的 NVIDIA Ada、Hopper和Grace Hopper处理器相结合,包括用于AI视频的NVIDIA L4 Tensor Core GPU和用于大型语言模型部署的NVIDIA H100 NVL GPU。

同时,NVIDIA AI Foundations云服务系列,也可以为需要构建、完善和运行自定义大型语言模型及生成式 AI 的客户提供服务,加速企业使用生成式 AI 的工作。

据黄仁勋透露,会将由八块旗舰版A100或H100芯片集成的DGX超级AI计算系统通过租赁的方式开放给企业,每月租金37000美元,以加速这轮大语言模型引领的AI浪潮。

据了解,通过与云服务供应商合作,NVIDIA在欧美提供DGX系统AI超级计算机的能力;在中国,也有特别定制的Ampere和Hopper芯片(A800和H800),通过中国的云服务供应商,比如阿里巴巴、腾讯、百度等企业提供落地能力。“我完全相信他们有能力去提供顶级的系统服务,对于中国初创企业来说,也一定有机会来开发自己的大语言模型”,黄仁勋表示。

写在最后

GTC期间,黄仁勋和OpenAI联合创始人、首席科学家Ilya Sutskever 进行了一场炉边对话。Ilya Sutskeve感慨自己从业20余年,看着AI从“小透明”到震惊人类:“它还是那个神经网络,只是变得更大,在更大的数据集上以不同的方式训练,但是训练的基础算法都是一样的,这是最令我惊讶的!”

黄仁勋也感慨,“在我们相识的十多年时间里,关于训练的模型和数据(从AlexNet训练到现在),已经扩大到100万倍。在计算机科学界,当时没有人会相信这十年间,计算量会扩大到100万倍。”

但这就是一个正在发生的事实——由于生成式AI,训练的规模增大了很多。而业界对于生成式AI的大量推理运用,正导致AI处于拐点。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

e28da479281011f5bd5a03b85799162e.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/61521.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

被“误解”的游戏开发者

如果让我站在自己的角度用一句话概括这个游戏开发这个专业&#xff0c;我必须要说&#xff1a;游戏开发是个“坑”&#xff0c;而且是个“天坑”。 作者 | 开发游戏的老王 责编 | 梦依丹 出品 | CSDN&#xff08;ID&#xff1a;CSDNnews&#xff09; 各位游戏开发者大家好…

情系儿童,暖席番禺——绿日同学公益组织青少年开展同辈关怀活动

“谢谢你&#xff08;们&#xff09;来了&#xff01;” 近日&#xff0c;训练营学员来到了洛浦街南浦西一村小s&#xff08;化名&#xff09;家&#xff0c;并将“东风快递”送到了小s手上。小s迫不及待的打开礼物并与“妈妈”分享着收到礼物后的快乐。 小s开心地与当“妈妈”…

第一次参加幼儿园家长开放日活动

今天&#xff0c;第一次参加孩子在幼儿园的家长开放日活动&#xff0c;能有这样一个机会近距离感受孩子在幼儿园生活情况&#xff0c;观看孩子在幼儿园生活的点点滴滴。 作为家长的我心情无比激动&#xff0c;昨晚竟然激动到睡不到觉&#xff0c;然后今天一大早就起床准备。 在…

白下高新区妇联、科协举办亲子活动,小朋友们走进云创大数据

为了让白下高新区员工及子女感受到高新区妇联的关怀&#xff0c;从而进一步增强对企业的认同感和归属感&#xff0c;营造和谐幸福的企业文化氛围&#xff0c;也为孩子们的茁长成长撑起一片天&#xff0c;7月31日&#xff0c;高新区妇联、科协联合钟晓敏爱心工作室举办了亲子活动…

GP官网上的TEE学习课程和费用介绍

★★★ 个人博客导读首页—点击此处 ★★★ 在optee的官网上&#xff0c;我们可以看到有TEE/SE等相关的培训课程&#xff0c;竟然要好几十万… 我们交不起学费&#xff0c;但我们可以参照其课程目录进行学习&#xff01;&#xff01;&#xff01; TEE Technical Specification…

送给孩子的趣味通信课

谨以此文&#xff0c;送给天下所有的孩子 也送给我的女儿&#xff08;她今天过生日&#xff09; 也希望这篇PPT&#xff0c;能够帮到所有当父母的通信人 祝你们永远快乐&#xff01; 作者&#xff1a;小枣君、姚士鸵 注&#xff1a;图片全部来自网络&#xff0c;侵权请联系删除…

Campus Talking 小记(6)

Let us to make our app 在前一段时间中&#xff0c;我有几场面试&#xff0c;所以耽误了一段时间&#xff0c;所以现在与个各位见面&#xff0c;今天本来是去进行底部导航栏第二部分的一个编写&#xff0c;也就是一个视频模块的编写&#xff0c;但是由于一些问题没有解决&…

情系儿童 暖席广州

导语&#xff1a;新修订的《中华人民共和国未成年人保护法》于2021年6月1日正式实施&#xff0c;为全面贯彻新未成年人保护法&#xff08;简称&#xff1a;未保法&#xff09;的宣传工作&#xff0c;广泛凝聚保护未成年人合法权益的社会共识&#xff0c;推动未保工作的深入开展…

c语言幼儿园积木游戏,干货来袭!超详细幼儿园游戏活动教案

原标题&#xff1a;干货来袭&#xff01;超详细幼儿园游戏活动教案 育儿 干货 幼儿园游戏详细教案 运乒乓球 1 游戏目的 练习推爬、持物走&#xff0c;提高身体的协调性和平衡能力。 游戏准备 1、自制车轮箱&#xff0c;奶箱&#xff0c;易拉罐梅花桩&#xff0c;乒乓球&#x…

定向寻宝亲子活动设计思路和实操(附2019最新教程)

亲子定向为什么一直深受家长和孩子的喜爱&#xff1f;总结有以下3点 1.寓教于乐&#xff0c;锻炼幼儿能力 作为而儿童运动的一种&#xff0c;定向寻宝具有智力和体力并重的特点。孩子可以在与大自然的接触中&#xff0c;分享活动乐趣、体会亲子温情&#xff0c;同时提升运动和…

Campus Talking 小记(2)

Let us to make our app 根据昨天的进度&#xff0c;我们已经制作了我们的启动页面&#xff0c;有一个启动页面是不是很有正规app的那个味儿&#xff0c;哈哈哈哈&#xff0c;反正我是这么想的。在做了一个启动页面之后&#xff0c;我们来到了登陆页面。&#xff08;我的项目编…

真人CS、趣味拓展、空中断桥、越野车、露营 2天亲子活动方案

真人CS、趣味拓展、空中断桥、越野车、露营 2天亲子活动方案 时间安排 项目安排 第一天 08:00-09:30 集合&#xff0c;清点人数&#xff0c;乘车前往指定拓展基地 09:30-12:00 团队熔炼&#xff1a;破冰分组、团队建设、团队展示 挑战项目&#xff1a;亲子CS 12:00-13…

面对疫情 你可以这样面对—番禺区青少年儿童综合能力训练营开营

近段时间&#xff0c;新冠疫情在全国多点出现&#xff0c;部分青少年因此出现情绪困扰&#xff0c;日前&#xff0c;由区民政局指导、区慈善会主办、区社联会承办的区第七届公益慈善创投资助项目——“牵手成长”番禺区青少年儿童综合能力提升训练营&#xff08;下文简称“训练…

关注流动儿童心理健康,这场亲子营游学活动很“有爱”

近日&#xff0c;由广州市组织管理局、中共广州市社会组织委员会、广州市社会组织联合会指导&#xff0c;广州市福彩公益金资助&#xff0c;广州市为本社会心理慈善服务中心承办&#xff0c;第八届广州市社会组织公益创投“爱无限心关爱”助力健康中国共筑成长路——流动儿童心…

2019美团点评笔试编程题(A~Z美团骑手)

晚了17分钟。17&#xff1a;17分做出来了。。。。但是我由于迟到了五十分钟才开始的&#xff0c;美团竟然不像腾讯一样&#xff0c;迟到时间不计算。唉无缘了。前面的选择题真的好几道不看就狂选&#xff0c;节约时间。还有那个伪代码论述题是关于 “六度空间理论”&#xff0c…

“我培训完JAVA,进了美团,美团氛围特别好,就是送餐特别累”

周末不想做饭&#xff0c;外面又下了点小雨&#xff0c;于是点了个外卖&#xff0c;没过多久外卖小哥就到了&#xff0c;门敞着&#xff0c;我斜躺在沙发上刷《神盾局》第七季&#xff0c;示意小哥放在桌子上就可以了。 小哥把餐盒放在桌子上&#xff0c;瞥见我桌上的一本《JAV…

学python能赚什么外卖-用python模拟美团外卖骑手推送请求

项目中接入了美团外卖配送接口&#xff0c;当骑手进行接单、取货等操作时&#xff0c;会将这些操作推送到第三方系统中&#xff0c;在测试环境下&#xff0c;并没有真正的骑手会接单&#xff0c;我们需要模拟正式环境推送的信息&#xff0c;此时就可以用python模拟请求来进行这…

美团面试经验分享

本文面试题是转载于&#xff1a;程序员乔戈里&#xff0c;因为作者只是描述面试问题的过程&#xff0c;我这里对面试问题做详细补充。 一面 1、自我介绍 答&#xff1a;自我介绍是面试中唯一的自己主动介绍自己的环节&#xff0c;一定要好好把握好&#xff0c;你数据结构学的…

三面美团测开岗,HR 现场直接发 offer,他是横着走出来的

前情提要 这是一个发生在我朋友身上的真实事情&#xff1a; 这里就叫他程序员 Y 吧。 程序员 Y 工作不到两年&#xff0c;周末在朋友圈发了个喜报&#xff0c;准备入职美团。 之后&#xff0c;我就带着祝福跟 Y 聊了许久&#xff0c;聊天的内容就是具体了解一下他面试的过程…

入职美团Java岗后,美团人事分享给了我一份面试笔记......

时光飞逝 生活还的继续&#xff0c;在上个月都是不停的在面试&#xff0c;结果却都是回家等通知。 在我感到失望迷茫的时候却意外接到了美团人事的电话&#xff0c;让我带齐资料礼拜一去人事报道&#xff0c;更让我没有想到的是他顺便给我发了一些尚未整理的书籍资料 &#xf…