从中台模式的式微,到ChatGPT的兴起

LLM如ChatGPT近期红的发紫,一线研发人员都感到了巨大的机会和危机感。但本文打算另辟蹊径,探讨这类技术,对互联网公司算法研发架构上的影响。

本文试图回答两个问题:近两年中台模式,尤其是算法中台逐渐地淡出。其背后原因是什么? 在chatGPT大红大紫和LLM爆发前夜,对中台和算法团队组织架构的影响是什么? 

中台模式在2017年后大红大紫,成为一些大型互联网公司重要的组织能力经验对外输出。讨论此话题的文章汗牛充栋。 几年前,笔者也写过一篇《中台模式的爱与恨》,其中的观点在此处不再赘述。

笔者认为,就像生产力决定生产关系一样,算法研发模式,与技术和业务发展状态密不可分,从这个角度入手能回答这个问题。我们可以将技术业务的发展绘制成如下的曲线。如果你对中台发展历史的梳理不感兴趣,可直接跳到本文最后一节,我们会谈大型语言模型对算法研发可能带来的颠覆。

431574f52f42928c317594325c10a57a.png

中台兴起(2015-2018):技术和业务的先后崛起

2011年移动互联网浪潮兴起,大众创业万众创新,而在2014年-2015年,人工智能尤其是深度学习,有了革命性的突破。彼时的“大数据”还不是个贬义词,很多传统行业逐步完成了数字化转型,但还远远谈不上“智能化”。在互联网科技公司,这股风潮从CV开始,刮向推荐系统和NLP等等。

人们的换机潮,伴随着移动互联网的起飞和以及技术红利,正值各个公司的业务遍地开花,多得做不过来:个性化搜索推荐,图像/视频智能识别,物联网,智能硬件等等,成为智能化的标准名片。

深度学习人才需求旺盛,但人才供给却跟不上;在业务上如何智能化,是每个管理者必须回答的问题,但又很难在短时间内组建算法团队适应需求。上面的业务可以通过领域拆分成多个横向和纵向,进而有相当大的部分可被复用。因为中台团队可以以很低的成本,快速复用和试错, 成为了中台兴起的关键原因。

中台的出现还有一些必备条件,在一些公司,那些强势话语权业务比如百度的搜索,一定会自建强大的技术团队,反而就难于新成立中台,反倒是后续会承担一部分中台角色给其他团队。 业务驱动而非技术驱动的,以及各个业务相对平均的地方,更容易孵化出中台团队。

如《中台模式的爱与恨》所述,那些有一定的壁垒,但离业务很近的算法技术最容易沉淀到中台。 而通用微服务化,docker化,使得组件复用变得更加容易。太高端还无法大规模应用的技术就不太行,比如量子计算和类脑接口,那是研究院干的事情了。

中台是中心化的,它服务业务,与此同时培养人才,沉淀能力和平台,算法中台甚至是一家公司的技术名片,有着相当中台特色的阿里达摩院也在2017年成立。这是中台的黄金时代:一个中台算法同学支持的业务,在6年后,反而需要30个人来支持。 

中台式微(2018-2020)

在技术上,AI的核心架构,在2018-2019 年趋于成熟,主要的范式如在线学习,强化学习等等也得到了比较充分的验证。但此时AI的关键创新技术落地却慢了下来:以目标检测为例,新算法更快更准,但并不会对之前的方案产生颠覆性的变化。

在业务上,逐渐从技术引领转换为业务引领。大家更关注于技术的落地情况, 增长和盈利能力。 业务开始变得成熟, 智能化浪潮席卷方方面面:绝大部分核心流量场景接入算法。业务线开始变得强势。由于业务线承担主要的盈利能力,更容易形成逻辑闭环,技术推进更容易。

在人才方面,以三年为单位,大量研究生转战算法,人才缺口补上了,甚至有些供过于求了,算法校招常见“灰飞烟灭”的词语。  由于中台的很多技术已经得到了验证,而中台能做的事情,业务线招几个人一样能搞,搞的还不一定比你差。业务线逐渐对中台形成了人才虹吸效应。中台老板在年会上淡淡地说,“我们培养一批,送走一批。”

为了进一步提升中台的服务能力和稳定性,中台开始全面的平台化,产品化,直到商业化,总结起来就是:对内封闭,对外开放。将诸多产品能力进行组合打包,提升接入效率,并通过一整套工具链绑定用户。除了服务内部用户,也逐渐开始服务外部合作伙伴,以提升影响力。

关于中台模式,引发了很多的撕扯和故事。最经典的吐槽是这样的:提需求给你,你排期遥遥无期;我们自己做,你又投诉我们重复建设和抢活,你要我怎么做?好不容易等到排期了,啊,说好的现炒呢?怎么成了预制菜了?食之无味弃之可惜,一套能力改都不改到处拿来用,忽悠人呢?   而中台则同样不爽, 还把我们当高级外包?我要接几十个需求,怎么能忙得过来?

后中台时代(2021-):去中心化的委员会模式

中台模式的没落,同样与技术和业务情况密不可分。

在技术上,技术方向的拆解远比几年前精细,全面内卷,从用户到供给理解,连多任务都被解构成N个方向分别优化,业务团队也逐渐追求技术原创性,大量发论文已经不是稀罕事情;AI通过开源运动,已经民主化了,当路边大爷都知道Bert的时候(这是笔者亲历的真事儿),算法本身的门槛已经很低了,变成了算力和数据的竞争。那些没有业务的纯服务型团队逐渐凋零,这种例子数不胜数。

在业务上,2020年的短暂股价狂欢后。疫情和经济下行,互联网业务开始下滑,去肥增瘦成为主旋律。肉都不够分,公司还要养中台?最后,监管合规要求,非公司实体员工,在法律上无法接触对应的数据,这成为了压倒中台的最大一根稻草。那么,索性就让我们打平吧!

具体地,组织结构开始扁平化+ 去中心化,变成了各个垂线+ 技术委员会。 如下图所示,一个团队在业务初期可成为技术需求方,接受其他团队的帮助;在业务成熟,技术模式跑通之后,便成了技术提供方,反哺他人。所谓穷则独善其身,达则兼济天下。通过委员会模式,它与组织结构与业务松绑, 跑下来有着相当的灵活性。

83647c466eebacde1502f21ec80be9c2.png

委员会模式一定程度解决了信息互通,大家会互相知道在做什么,有什么需求和问题。这相比于中台是一个巨大的进步。因为中台本质上是CS架构,卖家并没有动力让买家之间相互沟通联系。而委员会提供了互相合作的土壤,当发现有共同的命题,就会促使团队间紧密合作。开源代码 + benchmark框架+ 论文,就成了委员会的公共财产。

其弱点也很明显,我们也不清楚,技术委员会有没有业务决策权。因为似乎委员会很难对项目和方向节奏做干预,更多是一种信息的单向传播。因为在商业公司,业务和利润是王道,没有业务决策权,那就只剩技术沟通了。大家坐在一起聊聊最近的技术成长和心得,如同开学术会议一样,简单纯粹而美好。但相信我,重复建设是一定会重复建设的,只不过之前互相撕扯,抢地盘抢得飞起;现在互相客客气气地介绍经验,你有是么?啊呀我也有!一切都是那么美好。

然而,问题并没有被解决

不论是中台还是委员会模式,都是在特定的技术业务条件下产生的。那委员会是否就是终点?中台还能否再次兴起?是否还有更好的技术合作组织形式?  这些问题,本质是关于人员沟通和算法复用的,有几个关键问题:

首先,算法的复用是很艰难的。工程合作是非常明确的,大家面向接口,各司其职,如同建筑工地一样对系统进行组装。算法合作不然,算法同学很独立,这是因为人们沟通效率的限制,每个协作者必须清晰地理解算法里面的逻辑,否则就是瞎帮忙。同时,几种优化的叠加不一定是线性的,可能会起到副作用,难于拆分具体的贡献。

其次,可复用组件,必须满足使用者可理解和可优化。解决问题只是一方面,而让技术同学理解,改进和提升模型,则是另一个刚需,没人愿意做调包侠。这也是晋升要求反向梯度回传导致的必然结果。完全的黑盒看似屏蔽了调用复杂性,但却难于被理解,进而一定会被摒弃,算法同学很快就会自己开发一个新的模块出来代替它。

那不复用行不行?不行! 在扁平化的委员会后后,人们依然呼唤复用:很容易看到,公司养着这么多的算法团队,带来了极高的人力成本;而绿色计算和可信公平成为共识。分散式的多小队并行开发,不可避免地追求复杂化,导致越来越大的人力和计算消耗。完全松散的模式变得不可持续。

那么,未来是怎样的?

未来:大型统一模型的颠覆?

对未来算法研发模式的判断, 笔者站在2023年年初,提出了三种可能性。

一种可能性是,疫情结束,经济形势全面复苏,业务重新开始爆发式增长。那么就能复刻前面第一和第二阶段的故事,传统意义上的算法中台重新崛起。但从现状来看,这种可能性在3年内很低。

第二种可能性,也是笔者认为可能性更大的,就是革命性的算法解耦技术在业务上的落地。现有的pretrain+ finetune范式已经在CV/NLP领域大规模应用,但其缺点还是明显的:可解释性较差,我们并不非常清楚模型是怎么工作的;数据有效性较低,下游需要大量的数据才能finetune出可用的结果;在搜推广(ASR)上并不好用,而ASR是比CV/NLP更直接的业务落地方式。

2023年年初,chatGPT这样的LLM像一声惊雷,其超强的零样本泛化、上下文学习,以及复杂推理和人类指令响应能力让无数从业者惊叹。这让从业者意识到,拒绝回答和公平性等特性的引入,让模型本身不再成为玩具;多个小模型分别优化,远远没有在一个大模型上进行微调和反馈来得强大;思维链实现的数学和符号推理,甚至让传统的符号系统颤抖,工业控制,商业决策等等的方向的落地似乎不是幻想。一个全新的、颠覆性的技术变革,可能即将来临。   

让我们大胆畅想下,一个统一的,基础算法服务团队,能够将基础知识图谱,自然语言和全域用户行为进行深度编码,构建一个通用的,组合式的,可分别升级和调试的基础统一模型。这个团队,就是新研发范式下的“新中台”!他们维护和优化着大型模型,超大规模数据和算力。按照《中台模式的爱与恨》一文所述,中台会变得下沉和“左倾”。

基础统一模型变成了像数据库一样的模块,而上层应用团队仅通过一套专用的DSL(领域定义语言)书写业务逻辑,和仅收集少量的高质量样本。在超大规模统一模型的基础之上, 即可构建可解释的,无偏的,绿色的领域模型。此时, “算法架构”被赋予新的含义,姐夫的“pathways”可能所言不虚,人力和资源消耗可能能减少90%以上。 就像docker模式改变工程架构开发一样,它会颠覆现代算法设计的方方面面 。

8af75798952dc4bd4f35182b2dde60cf.png

在可见的未来,如果One-model(统一大模型)+ model as service(模型即服务)+ 配合内源/开源+ 委员会的统一协调模式,能够获得大规模的应用,如果基础模型和其他部分能插件式拼接,算法效果能够达到甚至超过线性叠加。那必然会引起新的算法合作的升级迭代。 笔者预期,这个目标会在两年内实现。

让我们更大胆一点, 向10年-20年后预测。 复杂的业务,算法和平台语义可能会被人类全部抽象成语言和指令,进而可由LLM处理和优化,算法工程师被大规模代替;更近一步,就像《流浪地球2》那样,超强算力的量子计算机通过观察,直接生成了操作系统,亦即生成了语言本身,并直接在上层进行控制和优化,那么就会像电影表现的那样,生产力极大提升,同时伴随着社会大规模的失业;  然而语言只是形式,而非世界运行的本质,而目前大型模型为了支持人类语言对齐,反而拉低了其性能;最终,大型模型就会抛弃“语言”这种与人类沟通的低效形式,成为人类无法理解的黑盒,通过自反射甚至自编译,不断优化自身,进而走向真正的强人工智能,末世电影中的情节可能终成现实。

第三种可能性,如果连统一大模型都没有更多进展呢? 那,那,拉回到现实,大家就在委员会模式下,赶紧看看手头到底推全了几次,水了多少论文,接着卷吧。

969009e9b42cfab0ca9492565cf2b775.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/4667.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

ChatGPT商业版源码共享

安装教程: 一台VPS 搭建宝塔 解析域名 上传程序至根目录 访问首页在线安装配置数据库 PHP版本选择:7.3 安装完成后访问网站首页即可! 配置APIKEY,登录网站后台自定义配置,不然网站无法使用! 网站后台地址/admin 默认账号…

ChatGPT与教育系列(一、ChatGPT)

未来已来,拥抱变化,拥抱未来 一、ChatGPT 1、ChatGPT定义 ChatGPT(Chat Generative Pre-trained Transformer)翻译成:聊天生成式预训练转换器,其中,“Chat Generative”表示聊天生成式&#x…

AI工程师岗位的崛起;一线创业者的观察与预测;微软生成式AI技能专业证书;使用ChatGPT创建App | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦! 🤖 全球人工智能指数:首个全面衡量投资、创新和实施水平的指数 6月28日,美国科技媒体 Tortoise 发布了第4版「全球…

ChatGPT官方App推出后,5项重点整理总结

ChatGPT 自从在年初推出以来,一直都只有提供网页版的服务,虽然有许多第三方的外挂或是开发者自行串接 OpenAI 的 API 开发出 ChatGPT 的 App 或是电脑版应用程序,但这些都不是 OpenAI 官方所推出的版本。 而 OpenAI 在正式宣布 ChatGPT 的官方…

狂飙,ChatGPT 官方 APP 突然上线了!

点击上方“小白学视觉”,选择加"星标"或“置顶” 重磅干货,第一时间送达 今天凌晨,OpenAI 正式在 App Store 推出了 ChatGPT 的 iOS app。 瞬间冲上苹果商店免费榜第二名,效率榜第一名。 ChatGPT 的真「iPhone 时刻」来…

把中国法律法规喂给 ChatGPT = AI 法律助手

关于ChatGPT的各种工具层出不穷,AI写作、AI绘画这些已经卷成x了,今天给大家开个新眼界。 下面这位大佬把中国法律法规投喂给ChatGPT,做了一个:中国法律AI助手 一起看看演示: 离婚需要双方同意吗? AI&#x…

使用PyQt6编写的ChatGpt程序

最近ChatGpt挺火的,闲来无事在家使用Python的PyQt6库写了一个调用ChatGpt的GUI程序。记住无论如何调用ChatGpt,一定要先安装openai库。 pip3 install openai 下面直接晒代码吧: import sys from PyQt6.QtWidgets import (QWidget, QLabel,…

chatgpt赋能python:Python实现语音说话代码

Python实现语音说话代码 在最近的几年中,语音技术的发展为我们带来了许多便利。Python作为编程语言中的一支热门,也在这个领域担任了重要角色。在本文中,我们将介绍如何使用Python来实现语音说话代码。 为什么使用Python? Pyth…

人工智能交互革命:探索ChatGPT的无限可能-前言

随着人工智能的快速发展,交互方式的变革正在深刻地改变着我们的生活方式。人们正在越来越多地使用语音助手、智能家居等新型交互方式,而在这个领域中,自然语言生成技术正在扮演着越来越重要的角色。 在自然语言生成技术领域中,Ch…

ChatGPT: 交互式AI助手为互联网用户带来全新体验

目录 概述: 优势: 挑战: 未来发展方向: 概述: 在当今数字化时代,人工智能(AI)正以惊人的速度改变着我们的生活方式和体验方式。AI 的应用范围越来越广泛,从语音助手到…

使用Python开发ChatGPT AI工具助手(ChatCatsy):4天快速开发指南

引言: ChatGPT是一种基于人工智能的对话生成模型,它可以用于开发聊天机器人、虚拟助手等应用。本教程将指导您在3天内使用Python开发一个ChatGPT AI工具助手。无需担心,即使您是初学者,也可以轻松跟随本指南完成项目。 第一天&a…

阿猫智能机器人称:ChatGPT可以解析美联储讲话内容,预测股价

将ChatGPT应用于金融领域的浪潮来袭。本月发表的两篇学术论文中,研究人员们用ChatGPT进行金融市场相关的研究任务,其中一篇论文是关于解读美联储的声明是鹰派还是鸽派,另一篇是确定头条新闻对一只股票来说是好还是坏。 上述学术研究的初步结…

解析 ChatGPT 背后的工作原理

来源:大数据与机器学习文摘 本文约5000字,建议阅读10分钟本文解释了ChatGPT背后是如何工作的。 ChatGPT 是 OpenAI 发布的最新语言模型,相较于前身 GPT-3 有显著提升。与许多大型语言模型类似,ChatGPT 能以不同样式、不同目的生成…

谷歌版ChatGPT支持中文了!弱智吧实测结果在此

克雷西 发自 凹非寺量子位 | 公众号 QbitAI Claude 2发布之后,Google也按耐不住,立马官宣了Bard的船新版本。 支持的语言变多了,其中就包括中文,让广大网友直接喜提新玩具。 总结一下这次更新,主要包括这些内容&#x…

ChatGPT背后的核心技术报告(附下载)

输入几个简单的关键词,AI能帮你生成一篇短篇小说甚至是专业论文。最近大火的ChatGPT在邮件撰写、文本翻译、代码编写等任务上强大表现,让埃隆马斯克都声称感受到了AI的“危险”。ChatGPT的计算逻辑来自于一个名为transformer的算法,它来源于2…

官方正式版!哈工大最新93页《ChatGPT调研报告》,系统介绍大模型技术,内测哈工大“活字”对话大模型...

来源:哈尔滨工业大学、自然语言处理研究所(HIT-NLP) 2023年3月6日,哈工大自然语言处理研究所 ( HIT-NLP, since 1979 ) 师生联合撰写出《ChatGPT调研报告》(84页),对“大模型”技术进行了系统的…

【AI领域+餐饮】| 论ChatGPT在餐饮行业的应用展望

💂作者简介: THUNDER王,一名热爱财税和SAP ABAP编程以及热爱分享的博主。目前于江西师范大学会计学专业大二本科在读,同时任汉硕云(广东)科技有限公司ABAP开发顾问。在学习工作中,我通常使用偏后…

用ChatGPT生成openAI全景报告

“云孚科技基于业内领先的自然语言处理、知识图谱、语义匹配、智能写作等技术,打造了云孚开源情报系统YFINT,并结合ChatGPT模型成果,重磅推出OpenAI调研报告。” ChatGPT简介 2022年11月30日,总部位于旧金山的OpenAI推出了其最新…

ChatGPT根据销售数据、客户反馈、财务报告,自动生成报告,并根据不同利益方的需要和偏好进行调整?

该场景对应的关键词库(24个): 汇报对象身份(下属、跨部门平级、领导)、销售数据(销售额、销售量、销售渠道)、财务报告(营业收入、净利润、成本费用)、市场分析&#xf…

如何用ChatGPT分析品牌舆论传播概况,并给到处理建议?

该场景对应的关键词库(25个): 舆论传播、数据分析、主题、事件、时间段、媒体渠道、数据来源、情感分析、关键词提取、主题挖掘、大众集中讨论的话题、讨论关注程度、舆论关注倾向、关联类似事件、聚焦某一种情绪、人群范围、事件涉及群体、谁…