最近爆火的AI聊天机器人ChatGPT可以说是赚足的全世界的的眼球,不光创造到了最快月活用户到达一亿用户的历史记录,也让世人见识了AI大模型时代巨大的变革。
ChatGPT火爆到最近打开官网都有经常会遇到宕机的情况,而用户的脑洞也是足够的大,经常和ChatGPT产生啼笑皆非的对话。然而ChatGPT不仅能产生简单的对话,更是极强的效率工具。比如很多通过SEO来优化网站流量的商家,就通过ChatGPT极大的提升了优质Blog的生产效率,并且成本也对比传统Freelancer单篇约稿的方式指数级降低成本。
然而ChatGPT的能力不仅仅在于问答和输出一些Blog。当我亲身体验过OpenAI大模型的能力之后,我意识到以后的软件可能只会分两种:一种是拥有AI能力,而另一种是没有AI能力的。
抱着好奇的心态,我在网上探索了很多软件在集成AI能力方向上的探索,然后就在Github上发现了这个开源低代码平台ILLA Cloud。因为一段通过自然语言生成SQL语句的Demo功能,让我对这个产品进行了更进一步的兴趣。
作为一款主打内部场景的低代码软件,效率毫无疑问是第一位的。在以往配置SQL语句的过程中,虽然没有很大的技术难度,但往往写起来却费时费力。现在通过与AI的结合,可以通过语义快速生成复杂可用的SQL语句,并直接可以Run起来,从而快速的实现数据可视化。这让很多非技术人员也可以通过协作在很短时间内构建可用的内部工具。
ILLA Cloud GitHub:https://github.com/illacloud/illa-builder
不仅如此,最近很火的AI模型开源平台Hugging Face也和ILLA合作了一个集成功能,这使得ILLA可以在工具内快速调用Hugging Face各式各样多达13万个AI模型,从文字生成,到语言描述,以及OpenAI的GPT系列,让很多非AI相关的技术人员也可以在一些场景下快速使用一些基础AI大模型的生产力。我们在这里通过简单的教程,完成一个在ILLA上搭建与Hugging Face Integration的功能的构建与上线。
▍如何在 ILLA Cloud 中使用 Hugging Face
1. 步骤1 在 ILLA Cloud 中,使用组件构建 UI
我们先来基于我们期望的使用场景搭建前端界面。
例如,如果你的产品是输入文字、输出生成图,那你可以使用输入组件和图片组件;如果你的产品是输入文字、输出生成也是文字,那你可以使用输入组件或文本组件。
下图是一个基于文本内容做问答的应用界面:
2. 步骤2 创建一个 Hugging Face 资源,并配置 Action
点击 Action 列表的「+ 新建」并选择 Hugging Face Inference API:
通过完成下述表单,配置 Hugging Face 资源:
名称: 由你自定义的该资源在 ILLA Cloud 中显示的名称;
Token: 注册并登录 Hugging Face,点击右上角头像,通过 Profile Settings 下的 Access Tokens 页面获取
https://hf.co/settings/tokens
接下来我们配置 Action。首先是确认 Hugging Face 中模型的连接信息,你需要前往 Hugging Face Hub 页面,按需选择模型:
https://hf.co/models
本文我们以 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large
模型为例,进入模型的详情页,点击右上方 Deploy,并选择 Inference API:
https://hf.co/luhua/chinese_pretrain_mrc_roberta_wwm_ext_large
这里在 inputs
参数后面的内容,就是你需要在 ILLA Cloud 中配置的参数内容:
接下来回到 ILLA Cloud 的 Action 配置,需要填入 Model ID 和 Parameter。对于上图的 Model 输入是多个键值对的场景,我们提供了键值对输入和 JSON 输入两种方式,如下图:
此外,ILLA Cloud 还支持输入文本和二进制文件,能够满足 Hugging Face 中现存模型的需求。
3. 步骤3 连接 Action 和组件
将用户前端输入传给 API 的需求: 使用 {{
获取组件里输入的数据,如 input2
组件用于输入 question
、input1
组件用于输入 context
,只需要在 Action 中这两个参数值的位置,填入相关信息即可。下面是使用 JSON 的示例代码:
{"question": {{input2.value}},"context": {{input1.value}}}
接下来,我们要在前端组件中展示 Action 的输出数据。
我们需要确认不同模型的输出放在哪个字段,仍以 luhua/chinese_pretrain_mrc_roberta_wwm_ext_large
模型为例,运行结果如下:
因此这里我们可以用 {{ textQuestion.data[0].answer }}
来获取答案 (其中,textQuestion
是 Action 的名称),将 {{ textQuestion.data[0].answer }}
填入用于展示结果的组件的属性配置即可:
▍大功告成!
以上就是使用 ILLA Cloud 集成 Hugging Face 上的模型快速构建一个智能问答机器人的应用界面。在公司内部使用的场景下,还可以通过类似的模型解决很多具体场景的问题,比如内部资料通过模型训练之后的问答客服,随着不同的内容输入,也可以应用在更多场景。另外,Hungging Face 上还有很多有趣的模型,通过 ILLA Cloud 的调用可以快速地实现一些有趣的功能,比如在极短的时间构建类似 Lite 版本的 ChatGPT 或者图像生成内容的应用等。
最后,作为一款开源低代码软件,使用方式上也比较方便。不管是本地部署,或者是直接使用ILLA的云服务版本,都比较容易上手。当然chatGPT和AI大模型的可能性还需要更多的人去探索,看看能否解决一些具体场景下的问题。当然这样的探索就交给开发者了,附上ILLA在Github上的项目地址,快去一探究竟。
Github:
https://github.com/illacloud/illa-builder