【大虎与二狗】预算减半KPI不变,你该怎么办?

“哎呀,今天又没抢到,名额太少了,下次你们帮我一起哈”。

不需要抬头看,陈虎就知道说话的是楠楠。作为部门里自诩的“文青“,楠楠最爱的就是穷游,而最近每天10点她都会守在电脑前抢购某旅游平台“3999五一泰国游”的机票。的确,随着第二批40国出境团队游国家试点恢复,最近的出境旅游市场持续迎来复苏势头,甚至有统计数据表示五一假期的订单量环比半个月前增长了167%。

“慢慢好起来了”,他自言自语的说。对于在旅游公司上班的陈大虎来说,过去的三年真是太难了,尤其是2022年堪称是步履维艰。以往他很熟悉的那些竞争对手,有许多都淹没在了这几年里,哪怕是像他们这样坚持到现在的,也大幅度缩减了业务规模,他的团队也走了不少人。

但即便如此,陈大虎还是带着团队重新梳理了公司多年来积累的数据信息,并开发出了智能化的AI预测模型,甚至还计划根据用户喜好和预算实现定制化的推荐与智能目的地决策。每每提到这个项目的时候,陈大虎都引以为傲,毕竟业界类似的成熟产品还不多。

而如今项目进入了攻坚阶段,要处理数据库中的庞大数据,就需要强大算力尤其是加速卡的支持。为此,陈大虎早在上个月就给老板打了购买GPU加速卡的报告,但时至今日却如泥牛入海。“下周例会我得再申请下,不能再耽误了”,他想。

或许是老天也看出了大虎的积极,转天上班他就收到了老板的回复,总结起来就是12个字——预算压缩一半,项目进度不变。“这活儿没法干了”,回到办公室的大虎忍不住发了牢骚。

原本按照规划,项目需要至少40块GPU,让团队中的每个程序员都有自己的GPU平台,解决原有的性能瓶颈问题。但是如今预算砍掉一半,这“半套”系统如何运行,的确让陈大虎挠头不已。要知道,即便在计算机快速发展,人工智能甚至可以通过ChatGTP这样的方式与人类对话,但我们对于算力的需求依旧是无止境的,可谓是“韩信点兵,多多益善”。

其实类似陈大虎这样的情况非常多。虽然伴随着疫情的慢慢褪去,我们的生活已经逐渐步入了正轨,但是三年时间让太多公司失去了“元气”,同时也对未来的发展充满了未知。在这种情况下,自然大家对于投资都变得特别谨慎,即便对2023年充满了希望,但到了真花钱的时候,更多人还是小心又小心,因此这种“砍预算”也就成为了今年企业的常态,且不说是陈大虎这样的本土公司,就连好多跨国企业都在裁员。

“我昨天看新闻,不少国外大公司都开始裁员了,虎哥你就想开点,这不是还有一半的预算么?已经很不错了”,看到大虎一脸的不情愿,邻座的二狗赶紧来安慰。其实大家都知道GPU的重要性,如今预算砍掉一半,预定的设备怎么办?难道要两人用一台电脑?一想到这里,二狗不禁想起了某著名二战电影中两人一条枪的画面——其实做项目跟打仗都差不多,哪有空手上战场的道理?

接下来的几天,办公室中总是隐约有种压抑的份额,大虎也变得越来越烦躁,他很希望能找到一个更具性价比的解决办法,也恨不得真的能把一分钱掰成两半花,至少这样能解决他当下GPU算力不足的问题。直到二狗问了他一个直击灵魂的问题——咱们买那么多GPU,难道是24小时不间断运行么?

“怎么可能,你糊涂了?”大虎笑着说。的确,虽然在外界看来程序员们非常忙,甚至有人在离开工位的时候还在电脑屏幕贴上一张“请勿触碰”的贴纸,但事实上无论是人体还是机器,都不太可能24小时不间断运行,同时写程序、改BUG、调试等等工作都要占用大量的时间,而GPU最重要的就是后期的数据处理。从这一点来说,GPU完成了最关键的、最具压力的项目,但并不代表着它必须贯穿应用的始终。

一句话点醒梦中人。既然GPU并不是每时每刻都在满负荷运行,那能不能通过共享的方式实现多人协同,达到“歇人不歇机”的效果?这个想法刚一冒头,随即就被陈大虎自己否决了。“GPU虚拟化喊了这么多年,却还是只能承载一些基础的、初级应用”,他想:“而我们的AI分析要求算力强大,且不说GPU能不能满负荷运转,仅仅虚拟化层带来的损耗,就已经是得不偿失了”。想到这里,大虎即将脱口而出否决二狗的想法,却发现他已经抢先一步在电脑上打开一个网站,上面赫然写着四个字。

“趋动科技?这是什么公司”,大虎问道。

“虎哥,GPU虚拟化了解一下?”

“别逗了,哥好多年前就了解了,不靠谱”

“错了吧虎哥”,二狗笑了笑:“俗话说活到老学到老,经过我这几天不停的钻研,我发现原来GPU虚拟化现在也已经快速迭代,这个趋动科技就可以通过池化的技术实现CPU与GPU的协同应用,并且通过统一管理达到按需调度、动态伸缩的效果。”过去的这几天,二狗查询了不少GPU新技术,甚至还去问了ChatGPT。终于天道酬勤,让他找到了这家公司。

以往,我们在谈到GPU虚拟化的时候,很自然就类比到熟悉的服务器虚拟化,从而简单的认为这些虚拟化只能实现算力的简单分配,比如给某个用户划分30%或50%的性能。但事实上,随着GPU从虚拟化到池化的转变,如今的技术已经可以实现AI应用与物理 GPU服务器分离部署,实现了GPU池化层面的软件定义。也正是这样,用户对于GPU资源的远程调用与统一管理都变得更简单,也真正实现了云端的按需分配和弹性扩展。

以趋动科技为例。这家公司推出了名为“OrionX”的AI算力资源池化解决方案,其价值就是在数据中心传统IaaS硬件基础设施架构的基础上,通过安装OrionX打造虚拟化的软件定义资源池,从而让GPU资源在系统中流动起来,实现灵活的调配,以满足不同时段、不同业务压力的需求——国内外的GPU加速卡都可以实现很好的支持,还能够流畅运行TensorFlow、 Pytorch等主流应用。

 这张图可以很好的解释OrionX的逻辑架构。我们可以清楚的看到,OrionX位于底层的GPU架构之上,并不需要用户修改任何底层硬件就可以实现资源池化的管理。通过“化零为整”功能,OrionX可以支持将多台服务器上的GPU提供给一个虚拟机或者容器使用,也可以为同一个虚拟机或容器配备多个GPU资源池。

这样首先实现了分布式训练,解决了传统AI训练性能瓶颈问题,同时基于Horovod框架的AI应用也无需修改代码就可以接入OrionX实现聚合,这样大大提升了原有的资源利用率,让系统充分的“跑”起来。与此同时,也解决了传统GPU虚拟化中不同节点之间资源调配困难的问题,方便的统一运维和管理,也让运维人员事半功倍。

看着上面详细的描述文字,陈大虎心中却是一阵阵的激动,没想到如今的GPU池化技术都已经如此先进了。同时据用户测试,在使用了OrionX进行资源池化后,通过动态的挂载和释放可以将GPU卡节约60%以上,但系统却可以实现真正24小时不间断,因此整体的运行效率反而提升了4倍。“看来咱们砍掉一半的预算能找回来了”,大虎自言自语道。

除了性能提升之外,GPU池化的优势还在于资源管理,为此OrionX也提供了清晰明了的GUI图形界面。在这里运维人员可以清楚的看到资源池的节点情况,包括哪些资源忙碌、哪些资源闲置都是一目了然。同时这些每日产生的系统数据还会被AI进行智能化的分析,这样通过图片的方式可以更好的观测和查询阶段性的系统表现,也可以对业务运行状况做到心知肚明。

GPU资源分配更灵活、系统使用与业务运行更高效、资源管理与数据安全更稳定、图形化UI运维操作更便捷、企业管理者对于业务更专注,这些优势都是OrionX带来的价值,也是趋势科技相比同类企业的核心竞争力。特别是对于陈大虎所在的小公司来说,2023年充满了挑战和未知,而灵活、高效的系统也让公司业务充满了活力和优势,更容易在竞争中抢占先机。

“二狗,这次多亏你了,我这就去跟老板汇报”,大虎从打印机拿出那尚存余温的报告,转身就要走。

“别急,虎哥,还没完呢”,二狗一把拉住了他。

“还有什么?”大虎有些疑惑。

“如今低碳节能是大趋势,咱们要是用了趋动科技OrionX解决方案,光采购费、电费就能省下大几十万,还能提升400%的GPU综合利用率,减少碳排放上万千克”,二虎眨了眨眼,“你说我为咱们公司省了这么多,下个月的奖金能涨200不?”

“行,我再多给你加50,图个吉利”,大虎头也不回的说。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/21758.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

AI绘画大全 Midjourney13000+gpt最新注册+使用教程+关键词描述词 软件+教程

AI绘画大全 Midjourney13000gpt最新注册使用教程关键词描述词 软件教程 AI绘画大全:Midjourneygpt最新注册和使用教程,Midjourney13000AI绘画关键词描述词等(教程软件) ai美术馆-第一周 3.Ai绘图变现渠道 4.Ai生成图 2.30AI绘…

遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型

近年来遥感技术得到了突飞猛进的发展,航天、航空、临近空间等多遥感平台不断增加,数据的空间、时间、光谱分辨率不断提高,数据量猛增,遥感数据已经越来越具有大数据特征。遥感大数据的出现为相关研究提供了前所未有的机遇&#xf…

GEE入门学习,遥感云大数据分析、管理与可视化以及在林业应用丨灾害、水体与湿地领域应用丨GPT模型应用

目录 ①海量遥感数据处理与GEE云计算技术实践应用 ②GPT模型支持下的Python-GEE遥感云大数据分析、管理与可视化技术及多领域案例实践应用 ③GEE遥感云大数据林业应用典型案例实践及GPT模型应用 ④遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型应用 ①海量遥感…

AI工具在科研领域的应用(全网最全)

编者寄语: AI工具的潮流磅礴而至,诸多应用已从曾经的“玩具”华丽蜕变为实用强大的“工具”,学术界的翘楚们亦纷纷投入其研究和应用。作为追求卓越的科研人员,我们岂能袖手旁观,任凭自己在学术与科研工作中渐行渐远&am…

遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型应用

目录 平台及基础开发平台 GEE基础知识与ChatGPT等AI模型交互 重要知识点微型案例串讲与GPT模型交互演示 案例一、洪涝灾害监测 案例二、洪水敏感性和风险模拟 案例三、水体质量监测 案例四、河道轮廓监测 案例五、地下水变化监测 案例六、红树林遥感制图 以Earth Engi…

免费好用的思维导图工具,让你事半功倍

🔅思维导图是一种以图形化的形式展示思维过程和思维关系的工具。它经常用于制定计划🎯、做学习(工作)笔记📝、做手帐🧾等,帮助人们梳理思路,发散思维🙇🏼♀️…

机器人专业讲师与科技的转型思考

2023年以前,编程需要学习各种语法,现在只需要提示词。 未来还需要编程老师吗?需求一定越来越少。 “ Prompting TurtleSim from ChatGPT ” https://github.com/mhubii/chatgpt_turtlesim The demo lets ChatGPT call into ROS services …

AI4S 与 AIGC 时代,云上 Notebook 将如何革新教学与科研体系

随着以 ChatGPT 为代表的 AIGC(AI-Generated Content)技术的极速普及、以及 AI4S(AI for Science)从愿景走向流行,不同领域、不同背景的人们以一种前所未有的方式连接在了一起,共同经历着知识结构、技术体系…

MathGPT是什么,MathGPT与ChatGPT的区别是什么,MathGPT十大应用场景

MathGPT是一种基于自然语言处理技术的数学语言模型,其目的是通过自动化生成数学公式、证明和解题步骤等来辅助数学学习和研究。 与ChatGPT相比,MathGPT主要关注数学领域而非通用性的自然语言理解,因此其训练语料库和预测任务都与数学有关&…

AI绘画之Midjourney从小白到入门保姆级教学

大家好,我是可乐。 随着ChatGPT的发布,这段时间各种衍生的AIGC(利用人工智能技术来生成内容)工具层出不穷,通过文字生成文字,比如 ChatGPT、文心一言、new bing等等;通过文字生成视频&#xff…

通向AGI的规划和展望 - Sam Altman ,the CEO of OpenAI

我们OpenAI的使命是确保AGI(通用人工智能) - 一种智能程度普遍高于人类的AI系统可以造福于全人类。如果我们成功创建了AGI,这项技术可以丰富我们的生活、推动全球经济发展,帮助我们发现能改变人类目前所受限的新技术,提升全人类的幸福。 AGI有…

HTML的入门与进阶学习

一、简介 1、前端最核心技术 HTML (犹如骨架,毛坯房) CSS(装潢,把页面渲染更好看)二 二、基础内容 1.基础总结 1.内核划分 谷歌 火狐 ie 360浏览器 苹果浏览器 欧朋浏览器等等这些浏览器分别对应不同内核, 想让其浏览器…

OpenAI发布通用人工智能路线图:AGI比想象中来得更快

来源:机器之心 本文约2600字,建议阅读5分钟 通用人工智能的出现可能只是技术发展历程中的一个小节点,因为 AGI 或许可以加速自身的进步,从而以指数方式扩展能力。 在 ChatGPT 引爆科技圈之后,人们对于先进技术产生了更…

ChatGPT秘籍:学会prompt让你的对话质量瞬间提升

ChatGPT秘籍:学会prompt让你的对话质量瞬间提升 首先总结一下本文中会说到的prompt(提示词)种类以及我预期给出的分数: 随口一问流 0~40分 细节描述流 60~75分 案例投喂流 75~85分 模型赋能流 85~90分 一、随口一问流 这种提问方式非常简单&#…

前沿技术|人工智能的崛起和发展历程

前言: 人工智能的作用是使计算机能够模仿人类智能和学习能力,从而实现自动化、智能化和优化决策的目标。 文章目录 人工智能背景介绍发展状态未来展望 总结 人工智能 背景 人工智能(Artificial Intelligence,AI)的产生…

博士申请 | 新加坡国立大学金玥明组招收医学影像处理方向全奖博士/博后/RA

合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 新加坡国立大学 新加坡国立大学(National University of Singapore)&#xff0c…

新加坡南洋理工大学招募博士生、博士后、研究工程师和研究科学家

关注公众号,获取更多AI领域发展机会 新加坡南洋理工大学是一所科研密集型大学,有3万3千多名本科生和研究生,分布于工学院、商学院、理学院、文学院、研究生院,以及与伦敦帝国学院联合创办的李光前医学院。南洋理工大学“QS世界大学…

博士申请 | 香港中文大学(深圳)吴保元教授招收人工智能全奖博士/博后/RA

合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 香港中文大学(深圳) 香港中文大学(深圳)是一…

博士申请 | 香港中文大学(深圳)李彤欣老师课题组招收全奖博士/博后

合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 香港中文大学(深圳) 香港中文大学(深圳)是一…

博士申请 | 新加坡国立大学Xinchao Wang老师招收图神经网络方向博士/博后

合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 新加坡国立大学 新加坡国立大学(National University of Singapore)…