从去年火出天际的元宇宙,到今年年初的现象级应用 ChatGPT,科技圈似乎从不缺少热门的技术概念与话题。尤其是在云计算、人工智能、大数据等技术呈爆发式增长的背景下,我们愈发体会到前沿技术对于产业产生的深远影响,而这也延伸出了其他问题:前沿技术的边界在哪?如何与具体的应用场景融合?
以上这些问题或许看起来有些抽象、复杂,但我们从阿里巴巴创新研究计划(Alibaba Innovative Research, AIR)中,似乎找到了一些解决方案。自 2017 年开始,每年有大批全球顶尖高校 / 研究机构学者与阿里巴巴集团的工程师,就前沿技术问题展开研究,一方面促进学术研究深入产业;另一方面,AIR计划提供的开放性研究基金和实际的前沿场景,也有效助力了高校青年教师、学术人才的成长和优秀研究型学生的培养。
在过去的 2022 年,共有 15 个项目从众多申报项目中脱颖而出。我们邀约了获奖项目的数十位优秀学术代表,以期深入理解学术界和产业界如何更高效地协同创新,以及对整个行业和社会未来发展的影响。(文末附阿里巴巴年度优秀学术合作项目名单)
一、AIR 计划:做从基础研究到应用落地的“架桥者”
过去,从基础研究到应用落地似乎是横亘在学术界和工业界的鸿沟,这种现象在人工智能领域尤为突出。举例来说,如果一个训练模型没有与实际业务场景磨合,很可能在各种因素的影响下导致正确率的折损。把其类比到学术界与工业界也是如此,如果高校只着眼于理论问题的研究,企业只是生搬硬套,前沿技术的落地情况自然也不尽人意。
阿里发起 AIR 计划的初衷便是在学术界与工业界二者间架起一座桥梁。从这几年的实践效果看下来,企业与高校合作或许是突破应用场景技术难题的结合模式之一。
通过 AIR 计划,高校可以直接定位工业界的痛点问题,再有针对性地进行算法研究,而企业则可以提供算法的落地场景,来验证方案是否可行。两者通过不断的磨合可以定位实际问题、发现真实需求,达到有效的互动。
正如上海交通大学郑臻哲老师在接受采访时提到的:“通过 AIR 计划,我们能接触到工业界的痛点问题,从落地应用的视角思考模型算法研究,进一步加强理论联系实际,做对学术界与工业界都有影响力的工作”。大淘宝技术团队和他将机器学习特别是深度学习技术引入到工业界拍卖机制设计中,成为业界的首次尝试,取得了很多理论和技术上的突破,同时也得到了学术界的广泛关注。一些具备重大攻坚意义的课题也在不断交流、探讨中逐渐变得可行。
如果让我们评价前沿技术探索的实际价值?这个问题或许很难回答,也没有标准答案。但当一项技术在产业界产生实际价值时,前行者会实实在在感受到技术红利,以此为标准来看待这个问题似乎容易了很多。“关键性的技术突破虽然在技术上只是百分之几的变化,但带来的可落地场景却是十几倍的增加”。阿里巴巴淘宝技术团队的咏亮在采访时表示。
基于过去多年校企之间的协同,AIR 计划吸引了全球众多国家和地区的数百余所顶级科研机构参与,包括哈佛大学、斯坦福大学、苏黎世联邦理工学院、新加坡南洋理工大学等高校,中国高校与研究所申请总量的 80% 来自 985 高校和中科院,先后有十几位 IEEE Fellow 和 TR35 与阿里巴巴合作,相关成果通过论文、专利、项目等形式让产业从中受益。
二、平台搭好了,学术界与工业界如何合作实现创新突破?
上述提到的优秀学术项目,为何能取得基础理论和落地应用的双突破?双方打好配合,或许才是让合作价值最大化的关键。基于对多位优秀学术专家的访谈,总结了三点校企合作的实践经验:
第一,双方要找准自身定位。来自浙江大学的尤伟涛有一个很强烈的感慨,他认为:理论研究不仅要上天也要入地,高校做学术时也要考虑应用,否则落地就会很困难;企业也要明确定义出问题,找出学术价值。对此,大淘宝技术吕承飞也表达了相似的观点:“命题需要来源于业务又高于业务,提炼出科学理论问题是尤为关键的一步。”
第二,在优势互通的基础上,打破思维定式。就如同上文所言,高校与企业思考问题的角度其实是不同的,如果各自为营,两者之间的鸿沟只会越来越大,但如果大家能在不断磨合中,持续碰撞思路更有利于双方互通有无。
拿《端云协同超大规模分布式推荐系统的算法研究和系统实现》的推进过程举例,凭借云侧大规模模型实时训练和端侧动态感知用户的双重优势,“端云协同学习”成为了业内备受关注的焦点,并被阿里巴巴达摩院列为 2022 年 10 大技术趋势之一。然而在热潮之下,校企双方在推进时也遇到了一些挑战,“千人千模”中小样本学习过拟合便是其中之一。
受限于端侧只有单个用户的浏览量、点击量等数据,如果只根据用户自己的数据对模型训练,便会遇到中小样本过拟合的问题。上海交通大学吴帆提到:“一开始我们其实被这个问题绊住了,很难突破本地数据的限制。”但在研究过程中逐渐发现,虽然原始数据不能离开本地,但数据特征、训练参数以及一些中间的结果是可以离开本地的,需要把云作为中心服务器的协调特性发挥出来。最终,双方打破了之前的思维定式,有效地解决上述问题。
第三,校企双方在资源上的协同也是项目成功的另一关键要素。在采访《端云协同超大规模分布式推荐系统的算法研究和系统实现》的专家代表吕承飞时了解到。目前,这套体系可以在搜索、推荐、内容理解等场景中应用。
而双方的合作能够取得如此亮眼的成绩,一方面是源于双方对于端云协同技术方向的一致认同,他们认为端云协同可以有效解决人工智能服务最后一公里的问题,也是人工智能进一步发展的必要支撑;另一方面,还离不开阿里在基础设施平台的背后支持。通过阿里巴巴机器学习基础设施 Walle,实现了数据在端云之间的传输,最终才让端云协同发挥出了最大价值。值得一提的是,大淘宝技术团队还在论文中详述了阿里自主研发 Walle 的实现过程,该论文目前已入选了计算机系统领域顶级国际学术会议 OSDI,这也是淘宝系统论文首次入选该国际顶会。
三、坚持长期主义,支持优秀学者发展,创造更大社会价值
如果说校企的高效协同是优秀学术项目取得亮眼成绩的充分条件,那么日积月累的磨合则是双方发展的必要条件。
在和优秀学术项目的专家代表沟通时了解到,大多数项目的推进时间都在 3-5 年左右,AIR 计划更是陪伴了一大批学者经历了从早期起步到逐渐成熟的阶段。例如,浙江大学的尤伟涛老师在博士阶段就参与到了 AIR 计划中;上海交通大学的郑臻哲老师也是在博士后阶段就开始参与......正是这种“坚持长期主义”的精神,让我们看到了探索前沿技术的巨大价值空间。
在这一点上,《数字创意内容的智能设计》无疑是一个具有代表性的学术合作项目。伴随着大模型技术的成熟,AIGC 在近期火出新天际,但实际上这个技术并不是刚刚诞生,其已经有七、八年的发展时间。浙江大学 尤伟涛、李泽健 & 设计事业部不饱几年前就在 AI painting 领域进行探索。虽然现阶段实现了设计领域的应用,支持了鹿班平台产品的功能升级,但实现的过程中其实需要长期的尝试和验证。
阿里巴巴设计事业部的不饱提到:“针对一个痛点问题,高校即使提供了多种解决方案,但企业在实际落地时会发现,以上方案或许都不能在业务中取得成果。所以双方在解决科技问题的路上,其实没有捷径可以走,每一位参与者都要有这种心理认知。”
正是基于长期的投入,双方才在业务上取得不错的成果。在本次《数字创意内容的智能设计》中,面对“设计知识和大数据难以结合、设计创意难以形式化表征、跨媒体情感难以统一表达”等技术瓶颈,项目团队开创性地提出了结合设计经验法则和设计大数据、引入因果推理、支持视听融合的智能设计方法,提出了原型理论支撑的智能设计技术和创意因果推理支持的智能设计技术等。目前,该项目的智能设计能力已经接入鹿班生产平台,可以快速生成多样化的风格背景图片,节约设计生产成本,并且已经帮助成功孵化了鹿班平台中的互动视频产品。
针对《数字创意内容的智能设计》学术项目而言,虽然目前已经取得了小阶段的研究成果,但双方的合作并不会就此止步。三位专家在采访时表达的一致观点是:“随着虚拟空间等新载体以及新技术的出现,一定会产生新的生成素材的需求”。因此,与虚拟 3D 相关的设计素材生成依然是后续规划中的重点方向。除此之外,随着业界对于 AIGC 的接受度越来越高,后续也计划将这些能力更多地运用到实际的业务场景中。
不仅于此,校企合作在应用层面取得落地成果的同时,还会在前沿技术上进行不断地探索。以近期大火的 ChatGPT 为例,在云计算成为稳定的基础设施的背景下,学术界与工业界已经开始向智能化迈进。具体到智能化背后的技术和应用,受访嘉宾在大模型技术的探索与融合方面提出了一些前瞻共识:
一方面,对于统一的基础大模型而言,预计 3 年内将有上千个不同的任务都基于同一个基础大模型,再结合上 RLHF,AI 技术的应用门槛会进一步大幅度降低;对于预训练大模型、视觉大模型等细分层面而言,预计未来将能在节省训练时间的同时,不断提升模型的精准度;
另一方面,受访专家也针对模型的融合层面作出了进一步的预测,知识图谱与神经网络大模型将进一步互为补充与深度融合,大规模符号知识的神经网络化催生知识感更强、知识交互更符合人的预期的人工智能;针对算法模型与系统部署而言,算法模型设计与系统优化调度将紧密结合,形成算法与系统互为反馈的新工业界机器学习迭代研究的新模式。
除了业务应用和前沿技术探索,AIR计划的一些项目也在更大的社会范围内发挥着越来越重要的作用。例如,澳门大学周建涛老师和阿里安全线杨锐合作的《抗媒体传输的高鲁棒伪造图象检测与定位研究》,设计了一套可以有效对抗社交网络传输,且具有高泛化鲁棒性的图像取证技术。其伪造图像取证模型的性能远优于现前沿算法,可在多维度干扰下保持稳定,有望大幅降低各类噪声对伪造检测与定位框架的负面影响。目前这个“假图粉碎机”网站对公众开放,相应技术正在持续迭代,还计划将部分技术开源出去,促进图像篡改检测技术的进步。
四、写在最后
一项前沿技术要想掀起真正的技术浪潮,不仅要在理论方面取得突破,还需要创造出坚实的商业价值和实用价值。在此过程中,仅靠学术界或工业界一方的探索是远远不够的。如何能让学术界与工业界更加紧密地联系起来,是行业内共同的努力方向。
目前,阿里巴巴集团作为行业的先行者,通过 AIR 计划让工程师从业务中定位问题,再与学术研究专家共同携手来攻克问题的模式,大大提高了前沿技术在商业领域的落地应用率。同时,AIR 计划还会向高校老师提供开放性的研究基金,开放实际的前沿场景,助力高校青年教师、学术人才的成长和优秀研究型学生的培养。
除此以外,我们也看到了 AIR 计划的另一个野心——着眼于前沿技术的未来发展方向:如同《数字创意内容的智能设计》早在几年前就开始探索智能设计方向,经过多年的磨合,双方的合作成果已经显现——让设计师能够聚焦解决核心创意任务;在《端云协同超大规模分布式推荐系统的算法研究和系统实现》过程中,上海交通大学吴帆与大淘宝技术吕承飞一直在端云协同方向持续投入,为了给用户提供极致的个性化推荐体验,后续还会将模型的轻量化、个性化做进一步的夯实......
以上提到的前沿技术,只是 AIR 计划的冰山一角。但可以预见的是,随着校企双方的合作持续深入,不仅能够有效地打破学术界与产业界之间的壁垒,更为前沿技术的蓬勃发展起到了一锤定音的效果,也希望这些技术能够带来更大的社会价值。
附:阿里巴巴年度优秀学术合作项目名单
阿里巴巴集团2023“研究型实习生”计划已发布,面向海内外高校学生开放100多个科研选题,研究领域涵盖人工智能、云计算、自动驾驶、量子计算、搜索引擎等,入选者将与阿里团队合作探索前沿技术,优秀实习生有望获得阿里科学家的推荐信。欢迎报名。