危!AI调包侠,命将不久!ChatGPT将取而代之!HuggingGPT给出警告!

丰色 发自 凹非寺  量子位 | 公众号 QbitAI

HuggingFace+ChatGPT ——HuggingGPT,它来了!

只要给定一个AI任务,例如“下面这张图片里有什么动物,每种有几只”。

它就能帮你自动分析需要哪些AI模型,然后直接去调用HuggingFace上的相应模型,来帮你执行并完成。

5f63f3f85de3326708c9a914032bd1e5.png

整个过程,你要做的就只是用自然语言将你的需求输出

这项由浙大与微软亚研院的合作成果,一经发布就迅速爆火。

b293b712e08c322b30b33cb496ef2e47.png

英伟达AI研究科学家Jim Fan直呼:

这是我本周读到的最有意思的论文。它的思想非常接近“Everything App”(万物皆App,被AI直接读取信息)。

而一位网友则“直拍大腿”:

这不就是ChatGPT“调包侠”吗?

c15fbd03db209df4706ca282a58c37fb.png

AI进化速度一日千里,给我们留口饭吃吧……

67ee6dfd18d0f6223090c99ae6ab6491.png

所以,具体怎么回事儿?

HuggingGPT:你的AI模型“调包侠”

其实,若说这个组合物只是“调包侠”,那格局小了。

它的真正用义,是AGI。

如作者所言,迈向AGI的关键一步是能够解决具有不同领域和模式的复杂AI任务。

我们目前的成果离此还有距离——大量模型只能出色地完成某一特定任务。

然而大语言模型LLM在语言理解、生成、交互和推理方面的表现,让作者想到:

可以将它们作为中间控制器,来管理现有的所有AI模型,通过“调动和组合每个人的力量”,来解决复杂的AI任务。

在这个系统中,语言是通用的接口

于是,HuggingGPT就诞生了。

它的工程流程分为四步:

首先,任务规划。ChatGPT将用户的需求解析为任务列表,并确定任务之间的执行顺序和资源依赖关系。

其次,模型选择。ChatGPT根据HuggingFace上托管的各专家模型的描述,为任务分配合适的模型。

接着,任务执行。混合端点(包括本地推理和HuggingFace推理)上被选定的专家模型根据任务顺序和依赖关系执行分配的任务,并将执行信息和结果给到ChatGPT。

最后,输出结果。由ChatGPT总结各模型的执行过程日志和推理结果,给出最终的输出。

如下图所示。

假定我们给出这样一个请求:

请生成一个女孩正在看书的图片,她的姿势与example.jpg中的男孩相同。然后请用你的声音描述新图片。

可以看到HuggingGPT是如何将它拆解为6个子任务,并分别选定模型执行得到最终结果的。

6ccde27d3e392ee9c467fbc04bcc7b31.png

具体效果怎么样?

作者采用gpt-3.5-turbo和text-davinci-003这俩可以通过OpenAI API公开访问的变体,进行了实测。

如下图所示:

在任务之间存在资源依赖关系的情况下,HuggingGPT可以根据用户的抽象请求正确解析出具体任务,完成图片转换。

0e050277ea8348d3c21ec7dcc99cac05.png

在音频和视频任务中,它也展现了组织模型之间合作的能力,通过分别并行和串行执行两个模型的方式,完了一段“宇航员在太空行走”的视频和配音作品。

63c7d136768c3fcc13f4e9a9d9590f88.png

此外,它还可以集成多个用户的输入资源执行简单的推理,比如在以下三张图片中,数出其中有多少匹斑马。

61e97efcab8fe0705024b380e8b36d31.png

一句话总结:HuggingGPT可以在各种形式的复杂任务上表现出良好的性能。

项目已开源,名叫「贾维斯」

目前,HuggingGPT的论文已经发布,项目则正在建设中,代码只开源了一部分,已揽获1.4k标星。

我们注意到,它的项目名称很有意思,不叫本名HuggingGPT,而是钢铁侠里的AI管家贾维斯(JARVIS)eaec1d4fd0f713469f53bc1520942954.png

2232e21639c0dc608082e411bb2923b9.png

有人发现它和3月份刚发布的Visual ChatGPT的思想非常像:后者HuggingGPT,主要是可调用的模型范围扩展到了更多,包括数量和类型。

82ffac6239acb13c963d4cb711b54452.png

不错,其实它们都有一个共同作者:微软亚研院。

具体而言,Visual ChatGPT的一作是MSRA高级研究员吴晨飞,通讯作者为MSRA首席研究员段楠。

HuggingGPT则包括两位共同一作:

Shen Yongliang,TA来自浙江大学,在MSRA实习期间完成此项工作;

Song Kaitao,MSRA研究员。

其通讯作者为浙大计算机系教授庄越挺。

1c9e7cb7455dc58bbb233296af89fd0d.png

最后,对于这个强大新工具的诞生,网友们很是兴奋,有人表示:

ChatGPT已成为人类创建的所有AI的总指挥官了。

155b18dd41656b68a40378aea38d2a43.png

也有人据此认为:

AGI可能不是一个LLM,而是由一个“中间人”LLM连接的多个相互关联的模型。

09500b3fc97894470b4af22a6515590a.png

那么,我们是否已经开启“半AGI”的时代了?

64589217d5928fcd662f0f5e57630c65.png

论文地址:
https://arxiv.org/abs/2303.17580
项目链接:
https://github.com/microsoft/JARVIS

参考链接:
https://twitter.com/DrJimFan/status/1642563455298473986

猜您喜欢:

深入浅出stable diffusion:AI作画技术背后的潜在扩散模型论文解读

深入浅出ControlNet,一种可控生成的AIGC绘画生成算法! 

经典GAN不得不读:StyleGAN

fbb27525ea2cf8ba97ba3f32bae7a708.png 戳我,查看GAN的系列专辑~!

一顿午饭外卖,成为CV视觉的前沿弄潮儿!

最新最全100篇汇总!生成扩散模型Diffusion Models

ECCV2022 | 生成对抗网络GAN部分论文汇总

CVPR 2022 | 25+方向、最新50篇GAN论文

 ICCV 2021 | 35个主题GAN论文汇总

超110篇!CVPR 2021最全GAN论文梳理

超100篇!CVPR 2020最全GAN论文梳理

拆解组新的GAN:解耦表征MixNMatch

StarGAN第2版:多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享

《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》

《礼记·学记》有云:独学而无友,则孤陋而寡闻

e6a702aa2f32d0e7830000d06fc04953.jpeg

点击 一顿午饭外卖,成为CV视觉的前沿弄潮儿!,领取优惠券,加入 AI生成创作与计算机视觉 知识星球!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/41386.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LLM Data Pipelines: 解析大语言模型训练数据集处理的复杂流程

编者按:在训练大语言模型的过程中,构建高质量的训练数据集是非常关键的一步,但关于构建大模型训练所需数据集的通用数据处理流程(Data pipelines)的相关资料极为稀少。 本文主要介绍了基于Common Crawl数据集的数据处理流程。首先,文章概述了…

做好韩语同声传译,译员需要具备这些能力!

我们知道,同声传译是口译的高级形式,难度比较大,对译员的综合能力要求非常高。那么,针对同声传译的韩语翻译,译员需要具备什么条件,如何翻译效果比较好? 据了解,韩语同声传译是一项高…

爆火的AIGC到底是一片新蓝海,还是又一次的泡沫?

自ChatGPT发布以来,陷入了AIGC热,无论是大众的讨论、资本的流向还是大厂的加入,AIGC似乎都会是未来几年内最火的新蓝海。 不同于以往的“顶尖科技”泡沫,AIGC是真正可以应用到生活中的,这也是为何它会引发大量“失业论…

Midjourney之logo设计

Midjourney之logo设计 8 小时前 ChatGPT云炬学长 ​关注 Midjourney不仅可以生成日常生活中的各类图像,它在垂直专业领域的运用同样强大与灵活。 本节课程,我们将聚焦Midjourney在logo设计领域的用法,手把手教大家如何让Midjourney为你打造专属的logo 说到logo,那必定是无…

车企外卷:一个关于智能手机的“围城故事”

从2016年达到顶峰开始,全球智能手机出货量逐年下行,手机市场进入红海竞争逐渐成为了各界的共识。此后全球疫情与经济疲软的影响也进一步在手机市场施压,很多媒体认为手机产业距离“至暗时刻”已经不远。 而在去年,新增变数&#x…

抖音的配音段子在哪里搜到,抖音上录段子的配音都在哪里能找到

抖音的配音段子在哪里搜到,抖音上录段子的配音都在哪里能找到,小编都给大家整理好了,大家拿去就可以直接使用了。 这些音频素材中包括,励志,情感,正能量,创业等的类型,大家在创作抖音…

Python爬取糗事百科段子

Python爬取糗事百科段子 糗事百科是一个原创的糗事笑话分享社区,糗百网友分享的搞笑段子,使用Python爬取段子 翻页操作 http://www.qiushibaike.com/text/ http://www.qiushibaike.com/text/page/2/?s4964629 http://www.qiushibaike.com/text/page/3/?s496462…

史上最搞笑的程序员段子,你看懂了吗?

大家在日常查资料,消遣中,肯定多多少少看过关于程序员的段子,下面小编整理一些程序员的段子,这些你懂看懂了吗?今天小编就带领大家去看看吧~ 问:程序员最讨厌康熙的哪个儿子。答:胤禩。因为他是…

我是计算机本科专业段子,搞笑段子:恶搞大学专业,看完我就笑了!

一年一度的高考就要来了。搞笑段子,恶搞各大专业,仔细想一想也是那么回事!希望能给高考生带去一点点有一的帮助。 (1)管理专业 (2)新闻专业 (3)文秘专业 (4)广告设计专业 (5)计算机专业 (6)传统体育专业 (7)会计专业 (8)国际贸易专业 (9)学前…

程序员专属段子集锦 2/10

1.我是程序员,我不关心 Warning。 2.好不容易一次提前下班,结果在门口遇到了老板 3.调试刚写完的代码,状态是这样的… 4.产品:根据用户手机壳颜色改变APP主题颜色 5.C语言之父?What the hell that… 6.当发现Bug是身边…

程序员专属段子集锦 1/10

文章目录 1.编程降低犯罪率。2.程序员的好只有阿姨懂。3.租房只租程序员。4.程序员工作写照。5.我还没下班呢!6.我是 PHP 程序员,不拍黄片7.妈,那个男的是谁?8.程序员压力没那么大!9.从删库到跑路...10.如何让产品经理…

关于java的搞笑段子_让人笑到抽筋的10条搞笑段子

1、搞笑段子:妈妈叮嘱女儿,有三种男人不能嫁:一种是喷香水的;一种是爱嚼口香糖的;一种是穿拖鞋的。女儿愣着想不通这是为什么,这时候,爸爸嚼着口香糖,穿着拖鞋,从旁边路过,还留下阵阵…

有关程序员的段子

1、一程序猿去某厂面试,面试官问:“你毕业才一年,这三年工作经验是怎么来的?!” 程序猿答:“加班。” 2、部门开会时,大BOSS问技术总监,如何才能让进度落后的产品如期弄上线。 技术总…

又十一了,唠唠程序员回家相亲那些段子

十一小长假又双叒叕到了,作为一名合格的程序员,回家除了参加朋友们的婚礼、聚会打牌、聊聊植发心得以外,还有什么事儿?没错,被相亲!   估计节前家里人就已经给你安排好了和隔壁王叔叔闺女、老李头的孙女儿…

巴比特 | 元宇宙每日必读:大力未能出奇迹,PICO陷入困顿,是快点抽身还是最后一搏,字节内部态度不一...

摘要:据雪豹财经社报道,PICO业务线裁员,下调全年销量目标,高调投入百亿元资源也未能大力出奇迹——在元宇宙的梦醒时分,蒙眼狂奔一年多的字节跳动不得不重新审视自己的野心。走一步看一步的PICO陷入犹豫和观望&#xf…

【imessage苹果相册】软件安装Apple的APNS测试服务器

使用步骤使用未打印的步骤,但很容易犯错,尤其是应用,特别注意。 因为我实际遵循本教程的实际操作:答:xcode项目,我们的mypushchat的名称和调试iOS(apn只能步骤1:打开“keychainacce…

导出苹果安装包IPA的几种方法

说明一下,这里针对的是没有源码和非越狱设备的几种方法。下面简单介绍下几款软件的用法。 1. Apple Configurator 2 在App Store搜索“Apple Configurator 2”下载安装(最低适配macOS 10.14) 准备工作: Apple ID账号密码&#x…

【imessage苹果群发苹果推】软件安装应用程序/框架/ gcdwebservers

推荐内容IMESSGAE相关 作者推荐内容iMessage苹果推软件 *** 点击即可查看作者要求内容信息作者推荐内容1.家庭推内容 *** 点击即可查看作者要求内容信息作者推荐内容2.相册推 *** 点击即可查看作者要求内容信息作者推荐内容3.日历推 *** 点击即可查看作者要求内容信息作者推荐…

【imessage营销软件】苹果公司的即时通信软件安装?

今天,手机卡信息较少,基本上用于接收各种验证码,支付信息,销售短信,主要交换已被社会软件所取代。 但对于公司和公司来说,SMS仍然是一种不可替代的营销推广方法之一。 Imessage营销软件在哪里? …

【苹果推iMessage】软件安装命令打开工程: open ios/AwesomeProject.xcodeproj

推荐内容IMESSGAE相关 作者推荐内容iMessage苹果推软件 *** 点击即可查看作者要求内容信息作者推荐内容1.家庭推内容 *** 点击即可查看作者要求内容信息作者推荐内容2.相册推 *** 点击即可查看作者要求内容信息作者推荐内容3.日历推 *** 点击即可查看作者要求内容信息作者推荐…