阿里贾扬清:新一轮AI爆发的推动机制是工程化和开源 | MEET2023

羿阁 整理自 MEET2023
量子位 | 公众号 QbitAI

随着Stable Diffusion、ChatGPT的爆火,AI在今年迎来了大爆发。

这不禁让人想问,这些创新背后的推动机制究竟是什么?

在MEET2023智能未来大会上,阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清给出了他的答案:AI工程化开源

工程化,让开发、迭代到应用的路径变得更加高效;开源可以让工作开展更加迅速,实现市场共赢。

在这个基础之上,贾扬清还进一步指出了AI产业落地的四大明显趋势:AI工程化平台、异构计算、智能产品和算法开源。

5d9f0516dec2d0d18462a5d0267ceda8.png

为了完整体现贾扬清的分享及思考,在不改变原意的基础上,量子位对他的演讲内容进行了编辑整理。

关于MEET智能未来大会:MEET大会是由量子位主办的智能科技领域顶级商业峰会,致力于探讨前沿科技技术的落地与行业应用。今年共有数十家主流媒体及直播平台报道直播了MEET2023大会,吸引了超过300万行业用户线上参会,全网总曝光量累积超过2000万。

演讲要点

  • 工程化和开源是AI普惠最重要的支撑。

  • 目前AI产业应用有四个趋势:云原生的AI工程化平台、端到端优化的异构计算体系、通过系统组合打造贴近用户的智能产品,以及算法的开源助力AI在垂直产业的广泛应用。

  • 随着模型变得越来越大、训练门槛越来越高,我们可以清晰地看见,业界的需求从代码开源往前一步,到了模型的开源。

(以下为贾扬清演讲全文)

AIGC大爆发

今天我们讲AI,绕不过去的一个话题就是AIGC的大爆发,像Stable Diffusion、ChatGPT等等。

如果我们溯源可以发现,用统计和AI方法实现内容的创作和生成,已经经历了很长的演进过程。

往回数到1999年,也就是二十多年前的时候,Alexei A. Efros教授提出的基本逻辑是用一个简单的计算机视觉统计方式,就可以通过一个非常小的图片来学习纹理,并生成更大的内容,这可以说是AIGC的雏形。

2015年前后,神经风格迁移开始风靡,它能够从画作当中学习绘画风格,把原始图片合成为特定风格的作品,比如这幅梵高的《星空》。

224d6272741031e8d35ff3599aeaa973.png

从1999年的纹理生成,到2015年的神经风格迁移,再到今天更强语意的AI创作,都在不断地催生我们探索更有意思的领域。

同时,我们也在思考,这些创新推动的机制是怎么样的?背后有哪些的支撑?

AI惠普的土壤:工程化+开源

我们得出的结论是,AI普惠的两个重要支撑,一个是AI的工程化,另外一个是开源

27b34ba93dd87c3d03b7fad7a4930850.png

工程化角度,2019年著名教授Richard Sutton曾经说过,前面70年的AI研究,我们所得到的最大的经验和教训是通过标准化的方式来使用大规模的计算。

那么怎么样才能实现大规模计算呢?

无论是通过云原生方式,还是通过更加高效的分布式计算等,都让今天从开发到迭代的路径变得更加简单,这都是我们前面几年所看到的AI大规模发展(如大模型、AIGC)背后的工作。

另外一个方面,开源让工作变得更加迅速。

从最早的时候我们耳熟能详的深度学习框架,到今天我们所见到的各种模型,无论是基础模型还是应用模型,开源和开放都让各行各业的应用开发者更加容易触达AI算法,并寻找一些需求的匹配。

同时,对于算法的工作要求。Stack Overflow的创始人Joel Spolsky曾经写过一个关于开源软件经济学的技术blog。

他提到,技术公司都希望让产品的互补品变得更加容易获得,开源让整个市场变得更大,也能够让大家实现共赢的结果。

在此基础上,AI产业落地有四个非常明显的趋势。

第一是云原生的AI工程化平台;第二是大规模端到端的异构计算体系;第三是把前面这些工程产生的算法系统组合后,实现的更加智能、贴近用户需求的产品;以及通过算法的开源,助力AI在产业垂直化落地。

这四个趋势可能是将来我们无论是从供给角度还是需求角度,推动AI进一步往前走的方向。

b11fee9393226e999f8dce69e0906137.png

所以我想从这四个角度给大家简单介绍一下我们现在所看到一些细节和所做的事情。

AI工程化平台

今天我们看到AI开发有一个非常清晰的范式,可以分两个部分,前半段是开发、数据到模型,后半段从模型、迭代到最后的应用。

具体地说,首先,算法工程师会通过数据平台做数据采集、清理、标注。在开发的时候,一个开源的、耳熟能详的环境已经成为业界标准,能够让算法工程师进行开发、迭代。

今天大多数的模型都需要用到分布式计算,这些技术已经成为标准底座,让我们更加高效地做分布式训练、调度和部署。

产出最开始这些模型之后,我们就需要让业务工程师和深度学习的算法工程师一块在实际当中做模型选型、验证等等,再通过前面提到的开发、迭代、训练这些平台,来获得一个适合线上服务的模型。

有一个很有意思的点,大家在实际做一个业务应用的时候,有很多事情都要考虑。

AI以前想得比较少,但今天一旦开始把AI算法部署到应用当中去,很多需求就都已经出来了,像蓝绿部署等等,因此服务本身也在开始变得更加标准化、原生化。

今天在阿里云,我们就把这些开发范式标准化以后,建设这样一个平台,支撑我们从零开始做模型的全新服务。

652cc3352caa2e2ec2d60b3348c90aa6.png

大家经常问工程化可以实现怎么样的效果?

每个科研院所、公司大家多多少少都在经历这样一个过程:怎样把AI从科研到普惠的鸿沟填上,用高性能、高可用、低成本的方式把这个沟跨过去。

跟大家分享一个小故事,今年达摩院和阿里云一起做了一件事情,就是重新审视我们在AI算法协同当中怎么样把达摩院超过90%的应用,不论是训练还是推理服务的应用,都用云原生方式来实现。

通过这样的方式,我们所见到的是:

从需求的角度,资源更加可用、更容易获得,无论是拉起一个训练还是推理,都比以前更加容易,更快;

从工程细节上,算法工程师不再需要进行像存储、管理机器、调优带宽等等这些具体的事情;

从供给角度、AI系统管理角度来说,无论是利用率、训练效率,还是服务成本都变得更好了。

2a4a1c09d226146f13cd671534925f72.png

这是我们在第一个趋势——AI工程化这块所看见的正向效果,就是专业人做专业的事,以达到一个更好的效果。

异构计算

AI工程化平台之后,第二个趋势是端到端的异构计算与优化。

今天讲框架讲得比较少,传统的AI框架这一层,无论是最早的还是今天的框架,方向已经变得很成熟了。

同时,在框架上游和框架的下游,我们都开始逐渐地需要来建设更加丰富的软件栈。

包括上层怎么样让算法科学家做分布式建模,调动异构资源进行训练;在框架下层怎么样通过AI技术做软硬件协同设计和优化,最后我们怎么样建立这样一个存储、网络完整的优化解决方案。

和大家分享几个我们所做的工作。

第一在分布式建模这一块,我们开源了一个框架EPL,使得算法工程师建模时能够更加容易地自动化生成分布式训练模型,而不需要自己手工地处理GPU之间怎么样通讯。

在优化领域,我们的框架PAI-Blade,能够帮助算法工程师在面对底层硬件时不需要去担心,比如CPU、GPU、非常多的创新建设出来的国产芯片等等,我们可以用这种方式更有效地提升算法效率。

这个领域最有意思的一点是,我们发现AI计算和传统科学计算的需求有很强的共性,无论是蛋白质分子折叠的研究,还是其他物理、化学等领域,AI for Science这个趋势都很明显。

我们需要做的工作包括大规模基于矩阵的计算,以及需要处理海量的领域数据,而AI系统、数据系统所积累下来的异构计算的能力正好符合这个需求。

同时,一定程度上说,这些能力最早也是从HPC这些领域,比如气象模拟孵化出来的。

就像郑院士刚才提到的AII-Reduce并行的范式,这个范式最早也是在HPC领域有了非常好的理解,在我们看起来是一个AI for Science和Science for AI互相迭代的过程。

b05ac818423f8059741808f5ff41b7ce.png

这些框架上和框架下的优化,最终还是需要把所有的组件协同起来,带来一个更加完整、更加成熟的,我们称作“智算”的一个完整解决方案,这些解决方案能够达到软硬件协同、算法应用协同等效果。

举个例子,在自动驾驶这方面,我们和小鹏汽车建设了一系列自动驾驶所需要的海量AI计算能力技术。

每个单点技术看起来都比较标准,但是端到端连起来的时候,我们也碰到一个挑战,就是怎么样把存储、计算、AI组件更加完整组合在一起,这里面有很多细致入微的挑战。

732549e42ef5e2303358ce13da3d7cf7.png

就像刚才郑院士提到的检查点怎么样做读写,怎么样把存储带宽提上来,虽然乍一听是很细节的事,但是非常精准地提到了我们系统所需要解决的问题,就是确保一个木桶没有短板,unblock整个开发训练的流程。

智能产品

我们所见到第三个趋势,往往会涉及到多种模型、多种算法的组合。

各种单点AI算法越来越成熟之后,我们可以更容易地组合一个贴近客户的智能产品,这也是很多用户实际需要的一个AI中台,因为我们并不需要一个单体模型,我们需要解决问题。

拿“听悟”智能会议助理举例,这是达摩院语音实验室把语音、自然语言处理和其他的算法组合起来后建设而成,因为会议的原因,我在会前录了一个非常简短的实际使用的Demo,请大家来感受一下。

算法开源

最后我觉得还有一个非常强的趋势就是模型开源。

像听悟这样一个产品,背后有非常非常多的模型,我们今天说AI工程化、异构计算等等,最后就是基于模型来落地。

这里我重复一下李笛老师刚刚提到的AI being的概念,将来也许每一个人、每一个公司都多多少少需要有AI being的能力。

那么问题来了,模型变得越来越大,门槛越来越高后,是不是每个公司都要投入很多的资金和人力?是不是都要先通过训练再做其他的事情?

我们的回答是“no”,今天代码开源已经非常深入人心了,我们可以清晰地看见,业界的需求从代码的开源往前一步,到了模型的开源。

今年达摩院和业界很多伙伴一起推出了ModelScope,我觉得它跟以前所见到的学术模型不一样,我们更进一步的地方是我们将实际业务当中所见到的、训练的、沉淀下来的实际场景化的模型都贡献了出来,今天大家可以在魔搭上面找到300多个成熟的模型。

举个例子,比如像语音可以找到不同方言的、中英混杂的,这种通用的学术模型可能不太关注,但是在应用当中很需要的模型。

最新的像Stable Diffusion这些模型,你也可以在上面实现浏览、尝试下载开发、二次开发等等。

d555b1cc280e53f64dad320172c0d14e.png

这样一个社区能够让我们在供应和需求两个方面都更进一步。

从供给角度来说,我们希望能够提供一个场子,这个场子让更多算法开发者能够更方便地把模型开源出来、共享出来,就像是把代码放在一个平台上一样,让大家更容易分享模型,更容易搭建一个模型的Demo,把这个秩序轮转起来。

第二从需求角度,我们希望能够给对AI感兴趣的群体找到一个更容易的方式体验模型、思考需求,通过这样把很多的想法迭代起来,就是到底这个模型能做什么,如何把这些产品做得更加丰富。

我们希望这个平台成为一个连接两边需求,把两边更好结合起来,迸发创新的应用。

总结一下,在开源和工程化这样的大背景下,我们看见AI产业有四大很明显的趋势:云原生的AI工程化平台、大规模端到端的异构计算体系、智能产品,以及最后算法开源崛起。因为时间关系,每一点可能没法更详细展开。

今天,非常多的专家、企业、开发者们在建设着上层的AI算法;而在AI底层,如何让工具变得更加易用、更加普惠,这正是我们在做的事情。

从去年开始,我就在做阿里灵杰,无论从数据管理、数据治理、算法开发,到完整的AI智算解决方案,目的是能够提供一个用户友好、高性能、高弹性的产品和能力。

b1a68cc84ee3311e13fd3758eae7374f.png

非常感谢大家今天能够花15分钟时间听我的分享,疫情现在放开了,希望有机会能够在线下见面,或者通过线上进行技术上或业务上的一些交流,再次谢谢大家!

(最后,如果想回看大会全程,请点击阅读原文)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/54812.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

教你在Android手机上使用全局代理!

FBI Warning:欢迎转载,但请标明出处:http://blog.csdn.net/codezjx/article/details/8872071,未经本人同意请勿用于商业用途,感谢支持! 前言:在Android上使用系统自带的代理,限制灰常…

这才是计算机科学_人工智能

人工智能 一、前言二、ML2.1 分类2.1.1 决策树2.2.2 支持向量机2.2.3 人工神经网络 三、计算机视觉3.1 Prewitt算子3.2 Viola-Jones 人脸检测算法3.3 卷积神经网络 四、自然语言处理4.1 知识图谱4.2 语音识别 一、前言 之前讲了计算机从发展到现在的过程,计算机很适…

【ChatGPT】《chatGPT Box现已全平台上线,全面整合并以MIT协议开源》- 知识点目录

《chatGPT Box现已全平台上线,全面整合并以MIT协议开源》 这个视频主要介绍的是一款基于ChatGPT的开源工具【ChatGPT Box】; ChatGPTBox插件在chrome应用商店已经上线; 1. 右键菜单呼出对话框 & 位置可以拖拽调整 2. 文字选中问答 2.1 …

Stable Diffusion 母公司开源大语言模型,代号「StableLM」!

公众号关注 “GitHubDaily” 设为 “星标”,每天带你逛 GitHub! 昨天晚上 11 点,Stable Diffusion 的母公司 Stability AI 重磅宣布,正式开源一款全新的大语言模型:StableLM。 该模型的 Alpha 版本有 30 亿和 70 亿参数…

Stable Diffusion 母公司开源大语言模型StableLM

4月19号晚上 11 点,Stable Diffusion 的母公司 Stability AI 重磅宣布,正式开源一款全新的大语言模型:StableLM。 该模型的 Alpha 版本有 30 亿和 70 亿参数,并将于后续开放 150 亿和 650 亿的参数模型。 Stability AI 的创始人…

科研人论文必备神器(软件、网站、插件等)

科研人论文必备神器(软件、网站、插件等) 仅真实地推荐高效、有用的内容,无广告 文章目录 科研人论文必备神器(软件、网站、插件等)文献查找1.谷歌学术2.Web of Science(WOS)3.PubMed4.知网5.百…

2023年3月份报告合辑 附下载

把坚持当成一种习惯,别人光鲜的背后都有加倍的付出。没有谁比谁更容易,只有谁比谁更努力,三月已经成了过去,四月继续加油! 十二月报告 3.1:2023智慧会议技术白皮书 2023智慧会议技术白皮书 产业分析&#x…

java利用jdbc连接近远程MySQL数据库详细步骤+数据库封装类 --菜鸟小回

java利用jdbc连接近程MySQL数据库详细步骤数据库封装类 ChatGPT点击直接对话:小回公益GPT 文章目录 java利用jdbc连接近程MySQL数据库详细步骤数据库封装类 ChatGPT点击直接对话:[小回公益GPT](https://gpt.huijia.cf/)一、导入驱动包二、连接数据库1. 加…

国内信息安全行业常见法律法规介绍及个人理解

国内信息安全行业常见法律法规介绍及个人理解 前言网络安全法等保分保数据安全法 前言 法律法规,尤其是上位法(相对)是咬文嚼字、晦涩难懂的,常常阅读过后无法得到清晰、明确的理解。 但作为IT从业人员,无论是乙方争取项目机会、实施或设计过…

语音识别综述

语音识别的基本单位 Phoneme: 音位,音素 a unit of sound 是声音的最基本单位**,每个词语token的声音由多个 phoneme 组成** Grapheme(字位) smallest unot of a writing system 每个单词书写最基本的单位&#xff…

语音信号处理常用语料库下载地址

Noise92噪声库 Noise92是一个噪声的语料库,包括一些语音增强中常用到的噪声,每个文件持续235秒,其中噪声的采样率均为19.98KHz,可以通过下采样得到想要采样频率的噪声,上面的文件都是.mat格式,可以利用MAT…

语音信号处理的过程及其应用

一、语音信号处理的过程 在信号处理领域,信息加工和处理的一般流程下图所示。 在语音信号的具体情况下,信息源就是说话的人,通过观察和测量得到的就是语音的波形。信号处理包括以下几个内容,首先根据一个给定的模型得到这一信号的…

语音质量评估 Speech quality assessment 方法与代码编写

目前常用语音相对评估指标(参考)4个,绝对评估(无参考)指标3个。简述如下所示:** 相对指标: 1、pesq:共综合以下5个方面打分,分别为音频清晰度、音量、背景噪音音频中的可…

网页js版音频数字信号处理:H5录音+特定频率信号的特征分析和识别提取

文章目录 一、网页中的音频数据源二、FFT:时域转频域三、信号的特征分析四、信号的识别提取附录 音频数字信号处理 Audio DSP (Digital Signal Processing) 是一个复杂又专业的话题,本文介绍的是如何从音频中实时分析和识别出特定频率信号的一种方法&…

telegram设置中文

浏览器打开 https://t.me/setlanguage/classic-zh-cn,只要安装了tg,会自动打开tg,提示切换至中文

谷歌浏览器chrome 语言设置为英文

1.打开Chrome浏览器主界面,看到右上角的【三个点】一样的标志,鼠标左键单击,选择【设置】 2.打开【设置】之后,下拉到最底部看到【高级】两个字,我们鼠标点击一下打开它 3.打开【高级设置】之后我们继续往下拉&#xf…

Chrome浏览器 F12控制台中文改成英文

当Chrome浏览器 F12控制台是中文,怎么设置成英文? 第一步:点击控制台右上角的设置图标 第二步:“语言”选项从浏览器界面语言设置成英文 第三步:重新加载DevTools,控制台变成英文了

谷歌浏览器设置中文教程

谷歌浏览器是由谷歌公司推出的一款网页浏览器,稳定性强,运行速度快,唯一不足的应该就是它不是中文的,那要如何给谷歌浏览器设置中文?下面就一起来看看具体的设置方法吧。 谷歌浏览器怎么设置中文? 1、进入浏…

【爬虫】爬取百度图片加载不出来

图片加载不出来?(防盗链) 在img标签禁用referer 博客 https://blog.csdn.net/fRF0lw4/article/details/80105574 防盗链解决方案 https://www.cnblogs.com/lydiawork/p/7838153.html 防盗链原理

chatgpt赋能python:Python爬虫网页超链接的SEO实践指南

Python爬虫网页超链接的SEO实践指南 随着互联网的普及,新的网站层出不穷,各种搜索引擎如Google、百度也不断更新搜索算法,以提供更优质的搜索结果。在这个过程中,SEO技术成为网站推广优化的重要手段之一。Python爬虫作为一种常用…