让ChatGPT调用10万+开源AI模型!HuggingFace新功能爆火:大模型可随取随用多模态AI工具...

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

只需和ChatGPT聊聊天,它就能帮你调用10万+个HuggingFace模型!

这是抱抱脸最新上线的功能HuggingFace Transformers Agents,一经推出就获得极大关注:

089aab04f526cebafa9431db73764325.png

这个功能,相当于给ChatGPT等大模型配备了“多模态”能力——

不限于文本,而是图像、语音、文档等任何多模态任务都能解决。

例如告诉ChatGPT“解释这张图像”,并扔给它一张海狸照片。ChatGPT就能调用图像解释器,输出“海狸正在水里游泳”:

4d810b8bd4cc95c30b98bef7df365be1.png

随后,ChatGPT再调用文字转语音,分分钟就能把这句话读出来:

当然,它不仅支持ChatGPT在内的OpenAI大模型,也支持OpenAssistant等免费大模型。

Transformer Agent负责“教会”这些大模型直接调用Hugging Face上的任意AI模型,并输出处理好的结果。

所以这个新上线的功能,背后的原理究竟是什么?

如何让大模型“指挥”各种AI?

简单来说,Transformers Agents是一个大模型专属的“抱抱脸AI工具集成包”。

HuggingFace上各种大大小小的AI模型,都被收纳在这个包里,并被分门别类为“图像生成器”、“图像解释器”、“文本转语音工具”……

同时,每个工具都会有对应的文字解释,方便大模型理解自己该调用什么模型。

05fa68c1a2ea9066d5902270db8d7579.png

这样一来,只需要一段简单的代码+提示词,就能让大模型帮助你直接运行AI模型,并将输出结果实时返还给你,过程一共分为三步:

首先,设置自己想用的大模型,这里可以用OpenAI的大模型(当然,API要收费):

from transformers import OpenAiAgentagent = OpenAiAgent(model="text-davinci-003", api_key="<your_api_key>")

也可以用BigCode或OpenAssistant等免费大模型:

from huggingface_hub import loginlogin("<YOUR_TOKEN>")

然后,设置Hugging Transformers Agents。这里我们以默认的Agent为例:

from transformers import HfAgent# Starcoder
agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoder")
# StarcoderBase# agent = HfAgent("https://api-inference.huggingface.co/models/bigcode/starcoderbase")# OpenAssistant# agent = HfAgent(url_endpoint="https://api-inference.huggingface.co/models/OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5")

接下来,就可以使用run()或者chat()两个指令,来运行Transformers Agents了。

run()适合同时调用多个AI模型,执行比较复杂专业的任务。

可以调用单个AI工具

例如执行agent.run(“Draw me a picture of rivers and lakes.”),它就能调用AI文生图工具帮你生成一张图像:

f2b309f7ee752c90aa986ea99618ae90.png

也可以同时调用多个AI工具

例如执行agent.run(“Draw me a picture of the sea then transform the picture to add an island”),它就能调用“文生图”和“图生图”工具,帮你生成对应图像:

12a28639e421b06e9b4d3f0c78590071.png

chat()则适合以聊天的方式“持续完成任务”。

例如,先调用文生图AI工具,生成一个河流湖泊图片:agent.chat(“Generate a picture of rivers and lakes”)

47f94efea98a67e3fe1e21385476c180.png

再在这张图片的基础上做“图生图”修改:agent.chat(“Transform the picture so that there is a rock in there”)

4bce44eb889f52d83853f3dad359bc60.png

要调用的AI模型可以自行设置,也可以使用抱抱脸自带的一套默认设置来完成。

已设置一套默认AI模型

目前,Transformers Agents已经集成了一套默认AI模型,通过调用以下Transformer库中的AI模型来完成:

1、视觉文档理解模型Donut。给定图片格式的文件(PDF转图片也可以),它就能回答关于这个文件的问题。

例如问“TRRF科学咨询委员会会议将在哪里举行”,Donut就会给出答案:

7bbaa091e67fc1202d657ecec7edc1f0.png

2、文字问答模型Flan-T5。给定长文章和一个问题,它就能回答各种文字问题,帮你做阅读理解。

3、零样本视觉语言模型BLIP。它可以直接理解图像中的内容,并对图像进行文字说明。

4、多模态模型ViLT。它可以理解并回答给定图像中的问题,

5、多模态图像分割模型CLIPseg。只需要给它一个模型和一个提示词,它就能根据这个提示分割出图像中指定的内容(mask)。

6、自动语音识别模型Whisper。它可以自动识别一段录音中的文字,并完成转录。

7、语音合成模型SpeechT5。用于文本转语音。

8、自编码语言模型BART。除了可以自动给一段文字内容分类,还能做文本摘要。

9、200种语言翻译模型NLLB。除了常见语言外,还能翻译一些不太常见的语言,包括老挝语和卡姆巴语等。

通过调用上面这些AI模型,包括图像问答、文档理解、图像分割、录音转文字、翻译、起标题、文本转语音、文本分类在内的任务都可以完成。

除此之外,抱抱脸还“夹带私货”,包含了一些Transformer库以外的模型,包括从网页下载文本、文生图、图生图、文生视频:

cac5fba85536f35e3bbadadf2bef9cf3.png

这些模型不仅能单独调用,还可以混合在一起使用,例如要求大模型“生成并描述一张好看的海狸照片”,它就会分别调用“文生图”和“图片理解”AI模型。

当然,如果我们不想用这些默认AI模型,想设置一套更好用的“工具集成包”,也可以根据步骤自行设置。

对于Transformers Agents,也有网友指出,有点像是LangChain agents的“平替”:

你试过这两个工具了吗?感觉哪个更好用?

参考链接:
[1]https://twitter.com/huggingface/status/1656334778407297027
[2]https://huggingface.co/docs/transformers/transformers_agents

「人工智能」、「智能汽车」微信社群邀你加入!

欢迎关注人工智能、智能汽车的小伙伴们加入交流群,与AI从业者交流、切磋,不错过最新行业发展&技术进展。

PS. 加好友请务必备注您的姓名-公司-职位噢 ~

f415d624dae43d7d58732e057083fcf7.jpeg

点这里👇关注我,记得标星哦~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/52897.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatgpt赋能python:用Python编写录音代码:打造高效音频处理工具

用Python编写录音代码&#xff1a;打造高效音频处理工具 Python已经成为数据科学、人工智能和机器学习的首选编程语言&#xff0c;因此它也是制作音频处理工具的完美选择。Python编程语言简单易学&#xff0c;并能够快速实现高效的音频处理。通过使用Python&#xff0c;您可以…

如何把图片去水印?来试试这三种图片去水印的方法

如何把图片去水印&#xff1f;来试试这三种图片去水印的方法 相信大家在日常上网的时候&#xff0c;看到一些漂亮的图片时&#xff0c;想将它们保存下来&#xff0c;但又碍于图片带有水印不得不放弃。但其实我们是可以通过一些方法将图片中的水印给去除掉&#xff0c;那我们该…

什么软件去图片水印不留痕迹?三款图片去水印软件分享

我们在设计海报或者易拉宝时&#xff0c;偶尔需要用到网上的图片&#xff0c;但是一些图片加了水印&#xff0c;我们没法用&#xff0c;这个时候你们知道什么软件去图片水印好吗&#xff1f;我朋友跟我说下面这三个软件去图片水印很厉害&#xff0c;我试过了&#xff0c;真的很…

德国质量链接中国速度,奥迪一汽新能源汽车有限公司在电动化赛道上全速奔跑

&#xff08;图片一&#xff1a;奥迪一汽新能源汽车有限公司经管会成员暖封闭启动仪式环节合影&#xff09; 长春&#xff0c;2022年11月21日——11月21日&#xff0c;奥迪一汽新能源汽车有限公司举行了伙伴共进暨暖封闭仪式。随着暖封闭的顺利完成&#xff0c;奥迪一汽新能源…

新能源汽车行业资讯-2022-9-17

1.解决知识产权问题&#xff0c;《汽车行业标准必要专利许可指引》全文发布 2.新能源汽车的电驱动系统里&#xff0c;最核心的技术是什么&#xff1f; 3.东风商用车交付纯电中重卡超2000辆 加速掌握新能源关键核心技术 4.澳大利亚研究团队研制新款高速电动马达&#xff0c;可增…

新能源汽车行业资讯-2022-9-19

1.车规级IGBT产业国内外现状盘点 2.世界排名第二的车企&#xff0c;大众的ID系列&#xff0c;在国内为什么卖不过我们的自主新能源&#xff1f; 3.特斯拉Semi Truck进入中国的三大猜想 4.汽车发动机的三次进化&#xff1a;外燃机&#xff0c;内燃机&#xff0c;电动机 5.有了Hy…

新能源汽车充电桩跑马圈地的时代已经到来

我们国家这些年发展真的很快。以前说起基础设施&#xff0c;感觉还是修桥、修路、医疗、教育、供水供电之类的&#xff0c;但是现在看看周边&#xff0c;这些已经相当的完善了。而我们国家正在进行新的一轮基础设施建设&#xff0c;也就是新基建。我们国家的新基建包括七大领域…

新能源汽车企业投资价值分析_kaic

摘要 随着我国经济的不断发展&#xff0c;我国的新能源汽车已经成为未来汽车产业的发展趋势。在被列入国家战略性新兴产业之后&#xff0c;我国的新能源汽车产业已经步入了快速发展的时期。面对日新月异的汽车市场&#xff0c;如何抓住新能源汽车市场成为了主要的问题。新能源汽…

新能源汽车为何得以推广?

新能源汽车为何得以推广&#xff1f; 在所有工业部门里&#xff0c;汽车制造业是辐射最广&#xff0c;带动上下游产业最多的一个分类&#xff0c;因此有工业皇冠的美称。 凡是汽车制造业发达的国家&#xff0c;一定是工业强国。 工业弱国不可能诞生发达的汽车制造业&#xf…

新能源汽车——上下高压电

一、钥匙状态 钥匙状态描述OFF锁止开关ACC附件开关ON电源开关&#xff08;15电&#xff09;START启动开关&#xff08;高压电&#xff09; 二、上下电原理 主正继电器&#xff1a;高压系统中正极侧的主继电器。 主负继电器&#xff1a;高压系统中负极侧的主继电器。 预充继电…

新能源乘用车渗透率超30%!新能源汽车产业技术论坛11月3日开幕

据乘联会数据&#xff0c;9月新能源乘用车国内零售渗透率首次突破30%&#xff0c;达31.8%&#xff0c;较去年9月21.1%的渗透率提升约11个百分点。此前&#xff0c;8月&#xff0c;新能源乘用车批发销量渗透率首次突破30%&#xff0c;达30.1%。 据中国基金报报道&#xff0c;“…

新能源汽车电池对比

2021年&#xff0c;比亚迪的市值一度飙升&#xff0c;从年初的四千多亿元突破到了六千多亿&#xff0c;特斯拉因为种种原因导致市值一定的下跌&#xff0c;截至目前&#xff0c;两家公司的市值几乎持平。 图1. BYD &#xff08;数据来源于百度&#xff09; 图2. 特斯拉 &am…

新能源汽车电性能测试

新能源汽车的技术和配件在不断完善&#xff0c;整车电性能测试是汽车开发过程中的关键环节&#xff0c;对新车型的全面、专业的电子电气系统测试&#xff0c;可以发现整车在电性能方面的不足&#xff0c;优化整车的电气系统。 新能源汽车电性能测试包括哪些内容呢&#xff1f;…

拐点!新能源车交付均价首次「低于」燃油车,智能电动成新爆点

2023年开局&#xff0c;随着特斯拉打响新能源汽车市场的「价格战」首炮&#xff0c;除部分燃油车品牌&#xff08;仍依赖自身多年的用户和品牌积累的溢价能力&#xff09;没有跟进之外&#xff0c;几乎所有的新能源车型都在进行车型价格的下调。 而数据也在反映市场的拐点即将来…

中汽协确认参加2023EVH新能源动力总成年会

演讲主题&#xff1a;中国汽车工业经济运行情况 演讲大纲&#xff1a; 对中国汽车工业近期发展态势进行分析2023年汽车行业预测 陈士华 现任中国汽车工业协会副秘书长&#xff0c;兼任中国汽车工业经济技术信息研究所有限公司总经理 1999年3月至今&#xff0c;就职于中国汽…

世界新能源汽车大会聚焦汽车全面电动化 800V高压快充蓄势待发

据EV Volumes, CAAM 公布的数据显示&#xff0c;2021年全球新能源汽车销量近650万辆&#xff0c;同比增长108%&#xff0c;中国市场新能源汽车销量达到352万辆&#xff0c;同比增长157.5%&#xff0c;约占全球市场的一半&#xff0c;汽车电动化趋势明确。 数据来源:EV Volumes,…

新能源汽车——汽车分类

一、电动汽车分类 按照电动汽车的驱动原理和技术现状&#xff0c;一般将其划分为纯电动汽车&#xff08;EV &#xff09;、混合动力电动汽车&#xff08;HEV &#xff09;、插电式混合动力电动汽车&#xff08; PHEV &#xff09;和燃料电池电动汽车&#xff08;FCEV &#xff…

新能源汽车——动力电池

一、动力电池的基本参数 &#xff08;1&#xff09;电压 端电压&#xff1a;动力电池正极和负极之间的电位差。 开路电压&#xff1a;动力电池在没有负载情况下的端电压。 负载电压&#xff1a;动力电池接上负载后处于放电状态下的电压&#xff0c;又称为工作电压。 终止电压&…

2023中国新能源汽车产品魅力指数排名,比亚迪汉BEV、小鹏G9、蔚来ET7分获细分市场第一 | 美通社头条...

美通社消息&#xff1a;全球领先的消费者洞察与市场研究机构J.D. Power | 君迪 发布2023中国新能源汽车产品魅力指数研究。研究发现&#xff0c;2023年新能源汽车市场产品魅力进步显著&#xff0c;行业总体得分为776分&#xff08;1,000制&#xff09;&#xff0c;较2022年上升…

聊聊新能源汽车国家平台对接

新能源汽车想要销售&#xff0c;都必须要和国家/地方检测和管理平台对接。那么这个对接具体要看哪些数据&#xff1f;该如何操作呢&#xff1f; 首先&#xff0c;推荐大家先阅读刘鹏老师的文章《新能源汽车国家监管平台数据对接基本要求》&#xff0c;里面详细介绍了新能源监控…