来源:量子位
做类ChatGPT产品,组中国版OpenaAI恐怕是先当下最最人尽皆知的创投野心。
有人官宣标榜放话,也有VC开始把视角投向产学研转换的大模型项目——或许能更有基础一些,其中,清华大学显然处于身负众望的头一梯队。
背靠清华的大模型研究团队,计算机系教授唐杰所在的创业公司智谱AI,身价水涨船高,在几近哄抢的状态中接近完成一轮新融资,估值已超30亿元。
唐杰的学生同样有市无价。其麾下知名弟子杨植麟的NLP创业公司循环智能,也被寄予厚望,一切往大模型方向走,国内最头部的VC,孵化式提供支持。
唐杰师徒,清华NLP力量冰山一角
唐杰,清华计算机系教授。他刚刚入选2023 AAAI Fellow,也是ACM/IEEE Fellow。研究方向包括人工智能、数据挖掘、社交网络、机器学习和知识图谱等,曾获ACM SIGKDD Test-of-Time Award(十年最佳论文)。
△唐杰
这次传闻中被多家VC哄抢的智谱AI,在2019年由他和同为清华教授的李涓子创立,由清华大学计算机系知识工程实验室的技术成果转化而来。
经唐杰手的大模型,都是这几年里大家的“老朋友”:超大规模预训练大模型“悟道”(悟道2.0参数规模达到1.75万亿);2021年与阿里达摩院联合发布的中文多模态预训练大模型M6;已经开源的中英文预训练语言大模型*GLM-130B。
相同参数规模下,M6训练能耗仅是GPT-3的1%;ChatgGPT需要8张A100才能跑起来,而GLM-130B仅用4张3090就能驱动。在大模型赛道上的既有产品和性能实绩,让唐杰团队被VC追逐、哄抢不足为奇。
VC手中的金橄榄枝,还抛给了唐杰的得意门生杨植麟。
杨植麟是谁?以年级第一的成绩从清华本科毕业后,他在NLP研究全球排名第一的卡内基梅隆大学语言技术研究所(LTI)就读,师从苹果AI研究负责人Ruslan Salakhutdinov和谷歌首席科学家William Cohen,4年即拿下博士学位。
△杨植麟
博士期间,杨植麟和图灵奖得主Yoshua Bengio合作发布数据集HotpotQA,又先后以一作身份发表成果Transformer-XL和XLNet——这两篇分别是ACL 2019和NeurIPS 2019最高引论文之一。现在,他的谷歌学术引用次数突破16000次。
这位90后创业者不仅学术履历优秀,在产业界的表现也可圈可点。
2016年,杨植麟创立循环智能,公司主要业务是运用NLP、语音、多模态、大模型等人工智能技术打造“销售科技”方案。与此同时,智谱AI和清华研究团队的多个AI项目由他主导,华为的“盘古”大模型也是杨植麟团队和华为云联合推出的。
ChatGPT引爆狂潮,唐杨师徒二人成了VC眼中的香饽饽,但清华大模型NLP方向上的人才富矿不止他二人。
孙茂松、刘知远团队算其中一股中坚力量,两人都来自清华自然语言处理与社会人文计算实验室(THUNLP)。THUNLP成立于上世纪70年代的实验室,牵头人是国内NLP研究领域的泰斗黄昌宁,孙茂松是黄的学生,刘知远则是孙的学生。
△孙茂松
2021年底,孙茂松团队发布了机器中文语言能力评测基准“智源指数”(CUGE),以评测和推动中文NLP的发展。其他成果不多赘述,但此处不得不提的有三个。一个是AI写诗模型“九歌”,训练过程中学习了80万首中国古诗;另一个是语言表征模型ERNIE(和百度文心大模型同名),可与当时任务最优的BERT媲美;还有以中文为核心的预训练大模型清源CPM,这是智源“悟道·文源”的前身。
另一支赫赫有名的清华系NLP队伍,是交互式人工智能(CoAI)课题组教授朱小燕和其学生黄民烈团队,他们先后提出过SentiLARE、StoryGPT等预训练模型。
黄民烈本人不仅参与了“悟道”大模型的开发,还基于大模型和对话系统的学术背景,在前年创办致力于打造“超拟人大模型”的聆心智能。去年12月,聆心智能推出首个产品AI乌托邦,用户可通过其与定制AI角色对话;在去年年底完成数千万元天使+轮融资后(投资方包括智谱AI),不到一周前,聆心智能又宣布完成Pre-A轮融资。
△黄民烈
至于不久前从京东卸任,回归学术界担任清华电子工程系教授的周伯文(旗下还有一家公司衔远科技),也在NLP、人机对话打磨了多年的研究和业界经验。
国内大模型力量百家争鸣:5大学术重镇,10大产业巨头
清华不是这轮浪潮中唯一的宠儿。随着AIGC和类ChatGPT产品相关话题日益高涨的热度,国内大模型人才市场好不热闹。
为此,量子位梳理了百家争鸣的国内产学研界大模型重镇,代表性机构和代表性人物,共计5支学术界团队和10大产业界力量,排名不分先后。当然极有可能挂一漏万,欢迎在评论区中补充。
首先是5支学术界团队:
01:复旦邱锡鹏教授团队
不鸣则已,复旦大学教授邱锡鹏带领的NLP团队没有丝毫预告,猛然在中国激起类ChatGPT产品第一朵浪花。
产品名称MOSS,致敬《流浪地球2》里拥有自我意识的AI,参数量比ChatGPT小了一个数量级,在训练方式上,直接选择和其他AI模型进行对话。MOSS即将面向公众进行内测,还要在3月马不停蹄开源代码。
据公开资料,邱锡鹏是复旦大学理学学士和博士,研究方向为中文NLP、开源NLP系统、可信NLP技术、对话系统等,共发表CCF-A/B类论文70余篇,并主持开发了开源NLP工具FudanNLP 、FastNLP。他与中国计算机学会自然语言处理专委会副主任、教授黄萱菁都来自复旦大学NLP实验室,二人均在复旦大学取得学士和博士学位。
黄萱菁的研究领域为NLP、文本检索、云计算,复旦博士毕业后留校任教。2008年前后,她以访问学者身份前往MIT,现在是复旦大学AI、NLP学科方向带头人。曾入选入选“人工智能全球女性”“AI 2000人工智能全球最具影响力提名学者”及“福布斯中国2020科技女性榜”。
02:哈尔滨工业大学智能技术与NLP研究室
哈工大智能技术与自然语言处理研究室(ITNLP Lab)自上世纪80年代初,就开始从事NLP研究,代表性成果是提出了汉字语句输入的思想,并实现了国内外第一个语句级汉字键盘输入系统。周明、王海峰、张民、荀恩东都出自哈工大NLP一脉。
教授王晓龙是实验室负责人。王晓龙硕士期间就读于天津大学,并在哈工大拿到计算机应用博士学位,名为insun的拼音输入法就是他的研究成果。实验室教师还包括博士刘秉权、博士刘远超 、博士孙承杰等教授。
刘秉权,本硕博均就读于哈工大计算机专业,现为智能技术与自然语言处理研究室副主任,中国计算机学会高级会员、CCF中文信息技术专委会委员,作为主要研制人参加了“微软拼音输入法”(与微软合作)和“手机操作系统汉字智能输入”(与日本富士通合作)项目。
刘远超主要研究兴趣在智能信息处理、自然语言处理与理解、数据挖掘等领域,多次担任ACL、EMNLP、COLING、NIPS等CCF人工智能顶级会议及等学术刊物的审稿专家。
孙承杰在哈工大先后取得硕博研究生学位后,2009年起在留校任教,主要研究方向为NLP、信息抽取、信息推荐、文本挖掘和机器学习,承担和参加多项国家自然科学基金项目和国家“863”项目。
03:清华AIR
清华AIR,全称清华大学智能产业研究院,于2020年由多媒体及AI领域的世界级科学家张亚勤创建,张亚勤本人现担任清华AIR院长,同时也是清华大学智能科学讲席教授,中国工程院院士。
张亚勤本硕毕业于中国科学技术大学,在华盛顿大学取得博士学位,后当选美国艺术与科学院院士,澳州国家工程院院士,IEEE院士。他曾在微软公司工作16年,1999年和李开复博士等共同创立微软中国研究院(微软亚洲研究院前身)并担任第二任院长。又于2014年9月加盟百度公司担任总裁。
△张亚勤
清华AIR还聚集了刘洋、马维英、聂再清、刘菁菁等NLP方向的AI大牛。
刘洋是AIR执行院长,主要研究方向是NLP。武汉大学本科毕业后,刘洋在中国科学院计算技术研究所获博士学位,曾担任ACL亚太分会创始执委兼秘书长、Computational Linguistics编委。2010年,他在NLP顶会计算语言学上发表国内第一篇长文,并在ACL上成为国内第一个做tutorial学者。
马维英,IEEE Fellow,博士毕业于美国加州大学圣芭芭拉分校,AIR惠妍讲席教授、首席科学家,他的研究方向包括人工智能的几个核心领域,如大数据挖掘、ML、自然语言理解与生成、CV等。他拥有160多项技术专利,此前曾任微软亚洲研究院常务副院长、字节跳动副总裁兼AI Lab主任。
另一位AIR首席研究员聂再清本硕毕业于清华大学计算机科学与技术系,博士时期在美国亚利桑那州立大学师从美国人工智能学会前主席Subbarao Kambhampati。2004年起,在微软亚洲研究院历任副研究员/主管/高级研究员、首席研究员;2017年至2020年,在阿里担任天猫精灵首席科学家、达摩院AI Labs北京研发中心负责人。
刘菁菁同样是AIR首席研究员,拥有MIT计算机科学博士、剑桥大学MBA学位,曾任美国微软资深首席研究部门经理,带领科研团队在视觉加语言多模态机器学习,自然语言处理等人工智能领域开展科学研究。
04:西湖大学NLP实验室
西湖大学NLP实验室团队核心成员有博士张岳、蓝振忠等人。
张岳本科毕业于清华大学计算机专业,硕士、博士期间均就读于牛津大学,2010年3月-2012年6月在剑桥大学计算机科学专业从事博士后研究,现为西湖大学长聘副教授,受邀编写了剑桥大学的NLP教材。根据统计,2012年-2020年期间,张岳在NLP领域的顶会发表数量是全球第三。
△张岳NLP课程可在B站观看
蓝振忠是中山大学校友,博士毕业于卡内基梅隆大学(CMU)计算机学院,多次担任ACM Multimedia, CVPR, ECCV, ICCV 等国际顶会的论文评审专家。加入西湖大学前,他在谷歌AI工作;加盟西湖大学后,蓝振忠组建了一支30多人的团队,正在尝试整合多种AI技术,构建虚拟心理咨询师。
05:IDEA研究院
IDEA研究院,全称粤港澳大湾区数字经济研究院,创立人沈向洋。沈向洋是视频检索领域的开创者,也是ACM和IEEE院士。他博士毕业于卡内基梅隆大学,是图灵奖得主Raj Reddy的学生,与李开复、洪小文同门参与创建微软亚洲研究院(MSRA),曾担任微软公司全球执行副总裁。
IDEA研究院下大模型负责人张家兴同样出身MSRA。在获得北京大学博士学位后,张家兴先后就职于百度、微软、阿里巴巴,曾任微软亚洲研究院研究员、360数科首席科学家,2021年6月加入IDEA。去年,张家兴带领团队推出了国内第一个以中文为主的AI绘画模型“太乙”,被称为中文版Stable Diffusio。据透露,“太乙”训练数据量超过了1亿中文图文对。
△太乙根据提示次“小桥流水人家,水彩”生成的画作
接下来聊聊10家极具代表性的产业界力量:
01:百度
提起百度的NLP技术,最被人熟知的是文心大模型。百度日前已经官宣要在3月把“文心·一言”(ERNIE Bot)向公众开放,它就是基于文心大模型技术推出的生成式对话产品。
2022年,DALLE-2、Stable Diffusion引领的AI绘画狂潮中,百度顺势推出同以文心大模型为底座的AI艺术和创意辅助平台“文心 · 一格”。
百度这方面坐镇和带队的,自然是NLP领域华人第一人——王海峰。百度CTO王海峰毕业于哈尔滨工业大学,博士学历,博士毕业后王海峰加入微软亚洲研究院,进行自然语言处理方向的研究,之后历任isilk.com研究科学家,东芝(中国)研究开发中心副所长兼研究部部长等职位。2010年1月加入百度,从NLP应用开始打造了百度NLP核心团队。
核心团队成员之一有2006年浙江大学毕业后加入,现任百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜,她整体负责百度AI技术平台和智能云AI产品,百度产业级深度学习开源开放平台飞桨正是她负责。
吴华,中科院自动化研究所博士毕业,现任百度技术委员会主席,负责百度翻译项目。她曾担任自然语言处理领域国际会议ACL 2014年的程序委员会主席,是中国本土企业首位ACL程序委员会主席。
马艳军,山东大学、清华大学校友,博士毕业于爱尔兰都柏林城市大学,百度深度学习技术平台高级总监。曾任《Machine Translation》杂志编委,并多次担任顶级国际会议的 AreaChair等职务,发表论文20余篇。小度机器人正是马艳军基于深度问答技术在2013年孵化。
02:阿里达摩院
阿里达摩院机器智能技术实验室下属的语言技术实验室,是阿里巴巴负责NLP技术研发的核心团队。
现任语言技术实验室负责人黄非,从ACM杰出科学家司罗手中接过重担。加入达摩院之前,他在卡内基梅隆大学攻读博士,之后NLP研究工作在IBM Watson和Facebook开展,在NLP和AI的顶会及期刊上发表文章40多篇;另一位团队负责人邴立东和司罗、黄非同为卡内基梅隆大学校友,曾多次担任ACL、EMNLP等会议的领域主席。
前文提到的M6是阿里达摩院推出的大模型之一,同样为人所熟知的还有基于统一学习范式OFA等底层技术打造的阿里通义大模型,之所以为“通义”,是因它具备搞定多种任务的“大一统”能力。
至于达摩院被曝要推出的类ChatGPT产品,就是在阿里通义大模型体系的基础上融合升级。
△阿里内测中的达摩院版ChatGPT提前曝光
03:字节跳动
字节跳动AI Lab成立于2016年,旨在为字节跳动内容平台提供算法和技术支持,研究领域主要涉及NLP、数据挖掘、ML、语音与音频等,推出的NLP相关产品有为字节跳动所有产品提供翻译服务的Byte Translator,以及涉猎体育、金融、时事的新闻写作机器人Xiaomingbot。
字节跳动AI Lab团队总监之一李航,同时当选三大国际顶会(ACL,IEEE,ACM) Fellow。他师出日本,硕士毕业于日本京都大学电气工程系,后在东京大学取得计算机科学博士学位,主要研究方向包括信息检索、NLP等,曾在微软、华为先后任职。
本月初,字节跳动AI实验室被曝有开展类ChatGPT产品和AIGC相关研发。最新消息爆料,字节跳动正在布局大模型,在语言和图像两种模态上发力。其中,语言大模型团队由字节搜索部门领导,目前规模在十数人左右;图片大模型团队由智能创作团队牵头。
04:小冰
2020年,小冰公司从微软总部拆分,独立运营。其拥有的小冰框架以NLP为基础,是目前是全球承载交互量最大的完备AI框架之一。
本周,小冰公司的“小冰链”开放了小范围公测,不同于ChatGPT,小冰链将其思考过程完整、透明地呈现在用户面前,而且还能经过思考实施(某种)行动。
△小冰链的文字写作能力
公司CEO李笛毕业于清华大学,前微软(亚洲)互联网工程院副院长,微软时期创立了微软AI情感计算框架,现在他领导全球团队,负责人工智能小冰框架系统的技术研发、产品革新及商业落地
05:华为
2021年,华为云发布“盘古”大模型,这是业界首个千亿参数中文语言预训练模型,预训练阶段学习了40TB中文文本数据,接近人类中文理解能力。
华为这方面的核心人物,当属国际欧亚科学院院士、IEEE Fellow、华为云人工智能领域首席科学家田奇。田奇本科毕业于清华大学电子工程系,硕士毕业于美国德雷塞尔大学,后赴美国伊利诺伊大学香槟分校学习获博士学位。田奇研究方向本为CV,但近几年也转向NLP领域。
△田奇
06:腾讯
腾讯麾下有“混元”AI大模型(HunYuan)。去年年底,腾讯HunYuan进一步推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单CLUE。
HunYuan是业界首个可在工业界海量业务场景直接落地应用的万亿NLP大模型,最快用256张卡,1天内就能训练完成,成本直接降至原来的1/8。
△混元AI大模型支持的对话应用案例
俞栋是腾讯AI Lab副主任,同时当选ACM/IEEE/ISCA三大顶会Fellow,主要研究方向是NLP与语音识别。浙大电子工程学本科毕业后,俞栋在美国印第安纳大学计算机系和中国科学院自动化所模式识别与智能控制拿下两个硕士学位,最后在美国爱达荷大学计算机完成博士学业。加入腾讯之前,俞栋是微软研究院首席研究员。
07:京东
本月初,京东云宣布,旗下言犀人工智能应用平台将整合过往产业实践和技术积累,推出产业版ChatGPT智能人机对话平台,预计参数量达千亿级。
京东集团副总裁、IEEE Fellow何晓冬表示,京东ChatGPT领域拥有丰富的场景和高质量的数据,京东云言犀每天就能和用户进行1000万次交互。何晓冬是京东深度学习及语音和语言实验室的负责人,本科毕业于清华大学后,何晓冬在中国科学院取得硕士学位,后又至美国密苏里大学哥伦比亚分校攻读博士,研究主要集中在DL、NLP、语音识别等领域。
08:科大讯飞
科大讯飞是国内NLP行业龙头。ChatGPT爆火后,科大讯飞在投资者互动平台表示,在ChatGPT主要涉及的NLP相关技术和方向上,公司具备长期深厚的积累。
科大讯飞公开资料披露,2022年12月,科大讯飞已经进一步启动生成式预训练大模型任务攻关,类ChatGPT技术将在今年5月落地公司AI学习机产品中。
科大讯飞副总裁、研究院执行院长是刘聪,于2001 年进入中国科学技术大学攻读电子信息工程专业。加入讯飞语音实验室后,开始了在语音识别领域的研究。现在,他同时担任语音及语言信息处理国家工程研究中心副主任。
现任科大讯飞AI研究院副院长刘权,博士毕业于中国科学技术大学电子工程与信息科学系、语音及语言信息处理国家工程实验室,主要研究领域是NLP,2020年至2021年,刘权带领团队获得NLP领域5个国际权威评测冠军,曾任国际常识知识推理会议Commonsense 2017学术委员会委员。
09:澜舟科技
澜舟科技创始人周明是闻名世界的NLP专家,先后就读于重庆大学、哈尔滨工业大学和清华大学,并在清华大学担任过副教授。创业前,周明长期在微软亚洲研究院担任NLP组的负责人、微软亚研副院长。周明在NLP领域发表的文章数量居世界前列,2012年至2020年期间,周明在NLP领域顶会发表的论文数量居全球第一。
澜舟科技给予Transformer的“孟子”大模型,走轻量化路线,仅包含10亿参数量,可处理多语言、多模态数据,同时支持多种文本理解和文本生成任务。
△孟子大模型对图片内容的描述
上周,澜舟刚刚宣布与中文在线合作,要基于专用大模型开发一套预训练模型技术的文学创作辅助算法。
10:浪潮信息
去年年中,浪潮信息推出了4个技能大模型(SkillModel),分别为对话模型“源晓问”、问答模型“源晓搜”、翻译模型“源晓译”、古文模型“源晓文”,它们4个都基于“源1.0”大模型生成。“源1.0”是浪潮信息在2021年发布的巨量中文语言模型,参数量高达2457亿。
△浪潮“源”生成的新闻文本
浪潮信息在互动平台表示,公司在AIGC已从算力、算法和应用三个方面进行布局和长期研发投入。浪潮人工智能研究院首席研究员是吴韶华,他同时担任浪潮信息AI软件研发总监。他带领的团队除了推出“源1.0”,还研发了深度学习框架Caffe-MPI、人工智能开发服务平台AI Station。
ChatGPT珠玉在前,复旦MOSS一声不吭的出现,在国内掀起了更高一浪。
产学研三方都摩拳擦掌、蓄力待搏,在技术这块基石之上,能够垒起坚固高墙的人才成为了另一个必争之地,可以说,伴随着类ChatGPT产品在国内的推进,关于大模型人才的抢夺和竞争游戏,才刚刚开始。
推荐阅读
西电IEEE Fellow团队出品!最新《Transformer视觉表征学习全面综述》
润了!大龄码农从北京到荷兰的躺平生活(文末有福利哟!)
如何做好科研?这份《科研阅读、写作与报告》PPT,手把手教你做科研
奖金675万!3位科学家,斩获“中国诺贝尔奖”!
又一名视觉大牛从大厂离开!阿里达摩院 XR 实验室负责人谭平离职
最新 2022「深度学习视觉注意力 」研究概述,包括50种注意力机制和方法!
【重磅】斯坦福李飞飞《注意力与Transformer》总结,84页ppt开放下载!
2021李宏毅老师最新40节机器学习课程!附课件+视频资料
欢迎大家加入DLer-ChatGPT交流群!
群里会第一时间发布计算机视觉方向ChatGPT学术界和产业界的最新动态!
👆 请长按识别,回复ChatGPT,即可邀请您进群!