chatGPT联结hugging face了

文章目录

  • ChatGPT自己选模型!浙大+微软亚研院新论文,HuggingGPT项目开源
    • HuggingGPT搭桥
    • 四步工作流程
    • 多模态能力,有了

ChatGPT自己选模型!浙大+微软亚研院新论文,HuggingGPT项目开源

原文链接:https://mbd.baidu.com/newspage/data/landingsuper?rs=2417270360&ruk=kzVlXwq5f6-yXuSDLxmhZw&urlext=%7B%22cuid%22%3A%22jOvlfgiCv80ouvatliSmulaTStYpiSuKluvJ8YuH-aKz0qqSB%22%7D&isBdboxFrom=1&pageType=1&sid_for_share=&context=%7B%22nid%22%3A%22news_9820971608836170167%22,%22sourceFrom%22%3A%22bjh%22%7D
推荐阅读原文

近日,微软亚洲研究院联手浙江大学的研究团队,发布了一个大模型协作系统HuggingGPT。
在这里插入图片描述

论文地址:https://arxiv.org/pdf/2303.17580.pdf

HuggingGPT利用ChatGPT作为控制器,连接HuggingFace社区中的各种AI模型,来完成多模态复杂任务。

这意味着,你将拥有一种超魔法,通过HuggingGPT,便可拥有多模态能力,文生图、文生视频、语音全能拿捏了。

HuggingGPT搭桥

研究者指出解决大型语言模型(LLMs)当前的问题,可能是迈向AGI的第一步,也是关键的一步。

因为当前大型语言模型的技术仍然存在着一些缺陷,因此在构建 AGI 系统的道路上面临着一些紧迫的挑战。

  • 受限于文本生成的输入和输出形式,当前LLMs缺乏处理复杂信息(如视觉和语音)的能力;

  • 在实际应用场景中,一些复杂任务通常由多个子任务组成,因此需要多个模型的调度和协作,这也超出了语言模型的能力范围;

  • 对于一些具有挑战性的任务,LLMs在零样本或少样本设置下表现出优异的结果,但它们仍然比一些专家弱(如微调模型)。

为了处理复杂的人工智能任务,LLMs应该能够与外部模型协调,以利用它们的能力。因此,关键点在于如何选择合适的中间件来桥接LLMs和AI模型。

在这里插入图片描述

研究者发现,每个AI模型都可以通过总结其模型功能表示为一种语言形式。

由此,便引入了一个概念,「语言是LLMs,即ChatGPT,连接人工智能模型的通用接口」。

通过将AI模型描述纳入提示中,ChatGPT可以被视为管理人工智能模型的大脑。因此,这一方法可以让ChatGPT能够调用外部模型,来解决实际任务。

简单来讲,HuggingGPT是一个协作系统,并非是大模型。

它的作用就是连接ChatGPT和HuggingFace,进而处理不同模态的输入,并解决众多复杂的人工智能任务。

所以,HuggingFace社区中的每个AI模型,在HuggingGPT库中都有相应的模型描述,并将其融合到提示中以建立与ChatGPT的连接。

随后,HuggingGPT将ChatGPT作为大脑来确定问题的答案。

到目前为止,HuggingGPT已经围绕ChatGPT在HuggingFace上集成了数百个模型,涵盖了文本分类、目标检测、语义分割、图像生成、问答、文本到语音、文本到视频等24个任务。

实验结果证明,HuggingGPT拥有处理多模态信息和复杂人工智能任务的能力。

四步工作流程

HuggingGPT整个工作流程可以分为如下四个阶段:

  • 任务规划:ChatGPT解析用户请求,将其分解为多个任务,并根据其知识规划任务顺序和依赖关系

  • 模型选择:LLM根据HuggingFace中的模型描述将解析后的任务分配给专家模型

  • 任务执行:专家模型在推理端点上执行分配的任务,并将执行信息和推理结果记录到LLM中

  • 响应生成:LLM总结执行过程日志和推理结果,并将摘要返回给用户

多模态能力,有了

实验设置

实验中,研究者采用了gpt-3.5-turbo和text-davinci-003这两种GPT模型的变体作为大型语言模型(LLMs),这些模型可以通过OpenAI API公开访问。

为了使LLM的输出更加稳定,我们将解码温度设置为0。

同时,为了调整LLM的输出以使其符合预期格式,我们在格式约束上设置了logit_bias为0.1。

研究人员在如下表格中提供了为任务规划、模型选择和反应生成阶段而设计的详细提示,其中{{variable}}表示在提示被输入LLM之前,需要用相应的文本填充域值。
在这里插入图片描述
在这里插入图片描述

研究人员在广泛的多模态任务上测试了HuggingGPT。

在ChatGP和专家模型的配合下,HuggingGPT可以解决语言、图像、音频和视频等多种模式的任务,包含了检测、生成、分类和问题回答等多种形式的任务。

虽然这些任务看起来很简单,但掌握HuggingGPT的基本能力是解决复杂任务的前提条件。

HuggingGPT可以整合多个输入的内容来进行简单的推理。可以发现,即使有多个任务资源,HuggingGPT也能将主要任务分解成多个基本任务,最后整合多个模型的推理结果,得到正确答案。

此外,研究人员通过测试评估了HuggingGPT在复杂任务情况下的有效性。

就HuggingGPT处理多项复杂任务的能力进行了展示。

当处理多个请求的时候,可能包含多个隐含任务或者需要等多方面的信息,这时依靠一个专家模型来解决是不够的。

而HuggingGPT可以通过任务规划组织多个模型的协作。

一个用户请求中可能明确包含多个任务:

下图展示了HuggingGPT在多轮对话场景下应对复杂任务的能力。

用户将一个复杂的请求分成几个步骤,通过多轮请求达到最终目标。结果发现,HuggingGPT可以通过任务规划阶段的对话情境管理来跟踪用户请求的情境状态,并且可以很好地解决用户提到的请求资源以及任务规划。

「贾维斯」开源

目前,这一项目已经在GitHub上开源,但是代码并没有完全公布。

有趣的是,研究者给这个项目命名为《钢铁侠》中的贾维斯,无敌AI这就来了。

JARVIS:一个连接LLMs和ML社区的系统

顺便提一句,HuggingGPT需要有了OpenAI的API才可以使用。

网友:研究的未来

JARVIS / HuggingGPT就像此前Meta提出的Toolformer一样,都在充当着连接器的作用。

甚至,包括ChatGPT plugins也是如此。

网友称,「我强烈怀疑第一个人工通用智能(AGI)的出现将比预期更早。它将依靠「胶水」人工智能,能够智能地将一系列狭义人工智能和实用工具粘合在一起。

我获得了访问ChatGPT的Wolfram插件的权限,这使它一夜之间从数学菜鸡变成了数学天才。当然,这只是一个小步骤,但却预示着未来的发展趋势。

我预测,在接下来的一年左右,我们将看到一种人工智能助手,它与数十个大型语言模型(LLMs)及类似工具相连,而终端用户只需向其助手发出指令,让其为他们完成任务。这个科幻般的时刻即将到来

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/22225.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

答题小程序团队多人pk答题赛功能详解

针对目前答题小程序的趣味性、参与性特此开发了答题小程序团队多人赛,具体介绍如下: 一、 邀请制团队多人赛 2V2模式:2V2模式顾名思义,即2个人对另外的2个人进行团队pk答题。操作流程为:进入团队赛邀请制,邀…

活动星投票技能创意大赛网络评选微信的投票方式线上免费投票

“技能创意大赛”网络评选投票_建立投票链接_作品投票小程序_扫码投票制作方法 现在来说,公司、企业、学校更多的想借助短视频推广自己。 通过微信投票小程序,网友们就可以通过手机拍视频上传视频参加活动,而短视频微信投票评选活动既可以给用…

【2018国赛线上比赛】知识问答题真题演练第一波

1、操作系统为了防止应用程序在不可执行区域中运行代码提供的解决方案是什么?( A ) A、数据执行保护 B、地址随机化保护 C、只读保护 D、访问违例异常 2、Stack Canary 的作用是什么?( A ) A、缓解栈越界写入 B、缓解栈越界读取 C、缓解堆越界写入 D、缓…

基于闻达(wenda+chatGLM-6B),构建自己的知识库小助手

目录 安装miniconda 拉取仓库 使用内置python 安装依赖 上传模型 克隆及下载 text2vec-large-chinese 修改配置 上传知识库(txt文件) 处理txt数据 启动服务 测试 ChatGLM-6B是清华团队智谱AI开发的,一个开源的、支持中英双语的对话…

用离散数学知识对AI最难替代的职业进行数学建模,推导证明出最难被AI替代的职业是什么

摘要: 本文基于离散数学的知识,对人类智力劳动的职业进行数学建模,并推导出最难被AI替代的职业。通过对职业的分析,本文认为,应该运用离散数学中的图论知识对AI替代各种人类职业的难易进行数学建模,从中寻找…

与2017年度两位图灵奖得主的虚拟对话

【新一届图灵奖即将揭晓,在此与大家分享撰写的2017年度两位图灵奖得主的故事。本文于2018年3月28日完稿,发表于《中国计算机学会通讯》2018年第4期。】 2017年度的计算机领域最高奖“图灵奖”终于揭晓——斯坦福大学的约翰●轩尼诗(John Henn…

这把小刀怎么用——详解Knife4j框架

目录 介绍 使用步骤 1.在maven中添加依赖 2.添加其配置类,可以放在项目其他框架的配置类包中 3.application.properties中添加配置 介绍 Knife4j是为Java MVC框架集成Swagger生成在线Api文档的增强解决方案,其前身是swagger-bootstrap-ui,此框架还有调…

Emlog插件小刀娱乐网同款文章顶踩源码

介绍: Emlog小刀娱乐网同款顶踩插件免费发布 前些天看到小刀娱乐网的文章页面有了一些变化,那就是增加了一个有价值/无价值的顶踩按钮。 样式也是非常的好看 再加上两个表情包是非常的有趣。 网盘下载地址: http://kekewl.org/HGAmnmx7pAC0…

一把小刀,直插 class 文件的小心脏

大家好,我是二哥呀,假期结束了,学起来吧! 今天我拿了一把小刀,准备解剖一下 Java 的 class 文件。 CS 的世界里流行着这么一句话,“计算机科学领域的任何问题都可以通过增加一个中间层来解决”。对于 Jav…

emlog仿小刀模板

简介: 此模板是模仿小刀的模板,修改首页左广告图下内容,比之前更实用。修复无法搜索以及标签问题。删除文章页千篇一律的免责声明。添加右侧投稿和top悬浮标,可以和之前的top共存。友链中的部分链接可以在module.php修改。最近更…

高仿小刀娱乐网系统源码+积分功能+前台投稿

简介: 前台带会员投稿审核,收藏等功能,后台有插件,可扩展支持支付等,功能齐全。 用(极致CMS)套的模板,免费商用的CMS,可以自定义二开功能,附带积分功能! 安装教程&#…

Android——教你10分钟手敲 Butter Knife(小刀注解)

教你10分钟手敲 Butter Knife(小刀注解) 在用 AndroidStudio 集成 Butter Knife(小刀注解)的时候感觉像极了J2EE的Spring IOC容器 自己研究了一下,我来分享一下,小编会:多注释,多贴码,尽量降低同学们的学习时间成本&am…

最新织梦程序精仿小刀娱乐网资源网主题模板源码

介绍: 当初花了300块买的一套源码,跟小刀同款一模一样,仿的大鹏资源网 网盘下载地址: https://zijiewangpan.com/NfH3vcZyxvf 图片:

小刀娱乐网源码2020版

简介: 小刀娱乐网源码是aspaccess/mssql架构网站系统,电脑版,手机版,平板版无缝切换,一个后台同步管理,整站生成静态利于搜索收录,dreamweaver打开可视化修改。 专为制作“小刀娱乐网、QQ教程…

最新精仿小刀娱乐资源网模板源码,带前台会员投稿审核功能

介绍: 安装方法一: 1、将根目录文件上传服务器 2、将根目录1x6d.sql导入mysql数据库 3、环境需要支持PHP5.6(推荐PHP7.2),mysql5.0 4、配置数据库Conf/config.php 填写数据库账户密码 5、删除根目录安装文件install …

新版仿小刀资源网模板—木鱼cms

介绍: 仿小刀资源网模板新鲜出炉,使用的是muyucms 仿小刀资源网页面 1比1还原 这套模板使用了全新的轻量cms系统 木鱼cms 网盘下载地址: http://kekewl.net/38Bsc80j7460 图片:

晗枫emlog仿小刀网修复版模板

介绍: 晗枫开源的emlog仿小刀HFdao模板,测试之后和小刀网的没什么差别,EMLOG用户的福利模板,全开源免费发布。 JS各大搜索引擎自动提交收录! 最后如果自己二开请留个版权作者开发不易,不做伸手党&#xff…

php小刀娱乐网源码,PHP精仿小刀娱乐网资源下载站网站整站源码

【温馨提示】源码包解压密码:www.youhutong.com 资源描述 PHP精仿小刀娱乐网资源下载站网站整站源码 源码介绍: 网友花了300多元买的源码。 该源码使用dedecms系统去仿小刀娱乐网资源下载站一套源码模板,安装简单。非常适合做资源素材站用。 …

emlog程序仿小刀娱乐网模板最终版本分享

介绍: 上个版本本次修复广告横幅只显示大图的问题,修复文字广告在手机不显示文章置顶广告移除热门, 现在不在热门显示了修复免责一类,关于这些,不再是看文章那种了左侧大图轮播去掉,不在显示箭头&#xff…