假设有一家电商企业,员工大概20-30人,企业是在淘宝等电商平台买衣服,目前在淘宝上已经上架十万种服饰, 之前淘宝限制服饰的标题描述字数,所以写的特别精简。以该公司售卖的阔腿裤为例,目前标题都是这样的:
类型#裤*版型#宽松*风格#性感*图案#线条*裤型#阔腿裤
现在淘宝突然放开了,允许200字。那么这件事要不要做呢?肯定要做的,企业希望新的描述可以更好的吸引消费者。这个时候人工去写这十万个描述么?在以前,可能真需要,因为AI很烂,而且性价比还低,还要招算法工程师。那现在呢?老板找了一个研发,说两天之内把这事搞定。当然了,研发有两条路可以走,第一条是去调现成的大模型API。这个方式第一个是要花钱,第二个发送的数据很可能有被买卖的风险。 所以他选择了第二条路,找了一个开源的大模型,基于Byzer-LLM和ChatGLM-6B快速搭建一款免费的语言大模型,部署成函数,再跑一把十万条记录,效果还不错。第二天,他把效果导出成excel给到老板看。老板满意,接着他用一条Byzer 指令把新的描述更新到了数据库,此时完成了整个业务场景。
接下来,我们看一下Byzer-LLM是如何利用简短的几十行代码完成这个业务的:
至此我们就把chatglm部署成服务,Byzer 会把模型部署成 SQL 函数并支持批处理,流式计算,接下来我们可以验证效果:
该函数还通过 API 供外部应用使用:
(1)curl调用
(2)http调用:
其实,不仅仅是大模型部署,byzer-llm还支持大模型微调,并且还是十几行代码搞定。观察到,chatglm-6B生成的语句不是最优,后续将从微调的角度继续优化该案例。