作者 | gongyouliu
编辑 | gongyouliu
随着科学技术的进步,信息技术、网络技术及物联网的快速发展,新信息的生产与传播更加便捷、快速。特别是最近大火的chatGPT、大模型技术引领的新一轮科技革命,让每一个人都可以轻松地生产各种各样的内容(文字、图片、视频、音频等),信息的生产以指数级增长,我们的生活中充斥着海量的信息。
在上述背景下,怎么高效、快速地获取对自己有价值的信息对每个互联网公民来说是愈发重要的事情,推荐系统的出现可以轻松地应对这一棘手的难题。推荐系统作为一种高效的信息过滤工具,可以很好地解决用户精准高效获取信息的问题,因此是越来越重要甚至是不可或缺的一种解决方案(在人们需求不明确时,借助推荐系统获取信息是非常必要的,而每一个人都有不明确的需求)。
推荐系统作为一项技术在国内的发展时间不长,从2012年头条成立之初将推荐系统作为核心产品功能到现在差不多11年时间,在这11年中推荐系统的商业价值在国内越发得到认可和肯定。大家都认可推荐系统在内容分发、用户体验、商业变现等方面的重大价值。
推荐系统目前已经成为toC互联网产品的标配技术,任何一个toC产品要想很好地为用户提供一种被动高效获取信息的方法,推荐系统是绕不过去的(对于toB企业也是类似的,B端最终服务的也是C端用户,现在非常多的银行APP都在尝试进行内容的精细化运营与个性化推荐)。在特定情况下人类需求的不确定性、信息的爆炸式增长这两个条件让推荐系统成为一项长久而实用的技术,推荐系统不会昙花一现,它会伴随着人类的发展而不断发展进化。
在前面的一系章节中,我们对推荐系统的算法、工程、评估、产品、运营、实现等方方面面都进行了深入的介绍。虽然推荐系统在国内的出现只有短短11来年,但是在各个方面都取得了极大的进步,发展越来越快,各种新方法、新应用场景、新产品形态层出不穷。未来推荐技术会朝哪些方向发展?推荐行业又有哪些变化?推荐系统的应用场景和价值体现又有什么新的特点呢?这些问题都值得我们深入思考。
针对上述问题,作者结合自己对推荐系统的理解和行业判断,在本书的末尾花一章的篇幅来讲讲推荐系统的未来发展与变化。具体来说,作者会从政策及技术发展对推荐系统的影响、推荐系统的就业环境变化、推荐系统的应用场景及交互方式、推荐算法与工程架构、人与推荐系统的有效协同、推荐系统多维度价值体现等6个方面来讲解推荐系统的未来发展和变化。本章为读者提供多个视角来思考推荐系统的未来发展与变化,期望读者可以更好地把握推荐系统未来发展的脉络,对推荐系统的未来变化有更深入的了解。
20.1 政策及技术发展对推荐系统的影响
推荐系统的发展是与整个大环境和技术发展趋势密不可分的,一定会受到国家政策层面和技术发展的影响。不过对推荐系统行业的发展来说,作者认为政策和技术的影响是都正向的,是一个逐步完善与规范的过程。下面我们就从政策和技术两个维度来进行分析。
20.1.1 政策层面的影响
随着数据化、智能化等技术走向成熟,大数据与人工智能在科技发展中起着越来越重要的作用,大数据与人工智能得到了国家层面的重视。要想发展好大数据与人工智能,首先必须有相关人才。国内从2016年开始逐渐有一些高校开始开设大数据和人工智能专业甚至创办大数据、人工智能学院,这类高校呈上涨趋势,目前全国开设了大数据相关专业的高校超过282个(见参考文献1)。在2019年全国已经有35所高校获得人工智能学科建设资格(见参考文献2)。
除了国家政策层面的支持,这类专业也受到了市场的青睐,就业前景较好(虽然现在互联网红利见顶,但是产业互联网的数字化、智能化是势不可挡的潮流,未来结合产业的数据与AI方面的资深人才还是非常紧缺的)。这两方面的原因,促使高校不遗余力地推进大数据与人工智能专业的建设。教育层面对大数据与人工智能的支持,为依赖这些技术的业务和产品提供了源源不断的人才储备(目前初级人才确实比较过剩,但是资深和尖端人才是稀缺的)。
推荐系统本身就是人工智能中非常重要并且有极大业务价值的子领域,同时构建推荐算法模型也依赖于对大规模用户行为数据的处理,大数据技术也是推荐系统必备的技术。因此,推荐系统直接受益于国家在教育层面对大数据与人工智能的支持,未来有充足的人才来源。
上面提到的只是国家在教育层面的布局,其实国家将大数据与人工智能提到了战略的高度,希望通过大数据与人工智能来革新各个产业。政策层面的大力支持,媒体的大势宣导,今日头条、抖音的样板示范作用,让个性化推荐相关产品和业务得到更多投资人、公司管理层的重视,这也有利于推荐系统在更多产品和业务中落地。
另外,国家在2022年3月1日正式实施的《互联网信息服务算法推荐管理规定》(见参考文献16)是国家第一次从法律层面对推荐算法进行了约束和规范,最终目的也是为了规范市场、提升产品服务质量、保护用户权益。有了法律的约束,我相信推荐系统未来的发展会越来越好。
20.1.2 科技层面的影响
云计算技术是近15年非常火的技术,云计算行业已经发展得越来越成熟,大公司早已布局,并已成为盈利源泉,是业务的第三增长极,国外的有亚马逊的AWS、微软的Azure等,国内有阿里云、腾讯云等(最近阿里云正在准备谋求独立上市,阿里巴巴一号位张勇亲自来负责阿里云,可见云计算的重要性)。
经过十多年的发展,云计算基础设施已经相对健全,未来会在SAAS服务等toB行业应用中大力发展,这其中就包括推荐SAAS服务。创业公司只需要利用云平台提供的各种SAAS服务就可以轻松搭建推荐系统各个模块,大大降低了推荐系统的准入门槛。除了云计算公司提供这类服务,toB的创业公司(如达观数据等)也在这方面有所布局,也提供PAAS或者SAAS的推荐服务,以及进行推荐系统的私有化部署。
构建一套完善、稳定、高效、低成本、灵活的推荐系统是一件非常困难的事情,涉及到数据、算法、工程、产品交互、业务指标等方方面面,只有对这些知识点有深入全面的了解,再结合公司的业务才能构建出具备商业价值的推荐系统。在这一背景下,创业公司一般可以选择利用云服务来构建推荐业务,这种方式投入低,无固定成本,是非常好的选择。只有中、大规模公司或者将推荐作为核心竞争力的公司才会自建一套推荐算法业务体系。
2022年11月底chatGPT、大模型引爆的新一轮科技革命,对内容的生产、交付方式的变革带来了巨大的影响。内容的生产更加高效、快速,用户与产品的互动更加便捷、人性化。大模型相关的技术及对话式交互方式一定会对推荐系统有深远影响。
上面这些变化,对推荐行业产生了深远的影响,对推荐系统各方面都会带来极大的改变。最直接受到影响的是推荐系统就业环境的变化,这就是我们下一节主要讲述的内容。
20.2 推荐系统的就业环节变化
推荐算法是一个非常好的职业选择,主要表现在就业范围广(推荐、搜索、广告技术一脉相承,技术体系极为类似)、薪资高、有业务价值。本节我们就来讲解在大环境和科技层面不断发展变化的情况下推荐系统就业的变化。
我们在20.1节讲到各类高校开设大数据与人工智能课程、成立相关院系,未来推荐相关的人才供给会更加充裕。大数据和人工智能是当下的热点,而推荐系统是人工智能中非常重要并且有极大应用前景和商业价值的方向,人的从众本性会导致对热点盲目追随崇拜,趋之若鹜。虽然现在有更多的企业提供推荐产品和服务,但在互联网红利消失的当下,推荐方向的人才供过于求,相关职位竞争压力极大(背景不好的或者没有经验的人是很难找到一份好的推荐系统方向的职位的)。
构建一套完善的推荐系统是一个非常复杂的系统工程,因此才有这么多云计算公司和toB创业公司将推荐系统打造为高效易用的SAAS或者PAAS服务,现在很多公司不会自己从零开始搭建推荐算法团队了,而是直接购买云平台或者toB公司的推荐服务。因此,推荐方向的工作形式和工作重点可能会有如下3类变化。
20.2.1 推荐算法商业策略师是新的职业方向
随着推荐系统相关的云产品越来越成熟,创业公司会更倾向于直接购买推荐云服务,快速搭建自己的推荐算法产品,而不是从零开始自己摸索。利用云产品的好处是轻量、快速,让公司将更多的精力放到核心业务上,轻装上阵,快速发展业务。
为了更好地将云推荐产品落地到企业中,对需要的人才技能及要求会有变化,这时不需要特别懂具体的算法实施和工程,更多的是希望了解各类算法的优缺点和应用场景,能将推荐算法跟本公司的业务结合起来,让推荐算法更贴合本公司的业务情况,最终让推荐算法产生业务价值。
这类人员需要了解推荐系统全流程,知道构建推荐系统可能遇到的困难,有全局把控能力,善于沟通,有对商业的敏锐嗅觉。这样的人才作者称为推荐算法商业策略师,他们的主要工作是怎么基于推荐云服务将推荐落地到本公司的业务中。特别是toB数字化转型的传统行业(如银行等)需要这类人才。
当然,为了帮助这些企业来布局推进系统,将推荐系统作为核心业务的toB公司也需要大量懂推荐系统算法、策略和相关行业的从业人员。
20.2.2 在特定领域和场景下出现新的推荐形态
随着科技的发展,特别是智能硬件、5G通信技术、语音、对话(如chatGPT)等新交互方式的发展,推荐系统的应用场景及交互方式会拓展到更多场景和领域。
在新的业务场景及新交互方式下,怎么构建推荐业务及推荐算法是非常值得思考的一个问题,也是未来新的机会。读者可以参见20.3节关于推荐场景及交互方式变化的介绍,这里不展开。由于是新的行业和场景,这对创业公司是很好的落地推荐产品的机会,对于推荐算法从业人员来说也是新的机会。
随着新领域的逐步成熟,云计算与toB服务公司也会涌入新赛道。提供推荐SAAS或者PAAS服务的云计算公司或者toB创业公司也需要大量精通推荐算法和工程的专业人才,在这些新领域提供推荐解决方案。
20.2.3 推荐从业者需要更加关注业务价值产出
推荐系统本身就是一个比较偏业务和工程的方向,企业构建推荐系统的目的就是希望借助推荐系统来获得更多的商业价值(我们在前面的第15章《推荐系统的效果评估》中已经对推荐系统的商业价值进行过介绍)。
在当前互联网红利见顶的情况下,原来那种通过融资烧钱发展用户的粗放经营模式不再有市场。在当前竞争日益激烈的商业环境下,企业从创立第一天就应该考虑商业变现的事情,需要在创业早期阶段就尝试商业化,学习这方面的技能,积累相关经验,这样才更有可能生存下来。
推荐系统作为一个非常有价值的变现工具,需要肩负起商业变现的责任,因此推荐从业人员需要更加关注推荐系统的业务价值产出,并尽量量化推荐系统的价值,建立价值产出的闭环体系。只有让老板、让客户看到推荐的价值,老板、客户才会大力支持,最终推荐业务才有更好的落地空间。
因此,那些有产品思维,有商业头脑,知道怎么量化、可视化自己的价值,知道怎么利用推荐系统产生商业价值的推荐算法人才是更有机会和前景的。
20.3 推荐系统的应用场景及交互方式的多元化
目前的推荐系统主要应用于PC端和移动端,特别是在移动端,占推荐场景的绝大多数。未来随着智能化的发展,智能设备会出现在更多的场景中,这些场景中的应用当然也需要借助推荐技术来分发信息。同时,这些场景不同于移动端,在交互方式上会有变化,可以借助语音、手势等更多新的交互方式与用户互动。另外,针对传统行业的数智化转型,传统企业也有挺多的待进行精细化、个性化运营的场景。下面我们就对4种可行的、未来大有发展机会的推荐系统应用场景进行说明。
应用场景的变化一定伴随着交互方式的变化,下面我们将要描述的几类场景中主流的交互方式都跟手机上的触屏交互不一样,应用场景的切换对基于这些场景下的智能推荐的交互及展示方式是有极大影响的。
20.3.1 家庭场景
国内最早在2015年5月份乐视智能电视发布,随后小米、微鲸、暴风、华为、传统5大电视厂商(长虹、创维、TCL、海信、康佳)纷纷入局智能电视行业,国外电视厂商也强势杀入中国智能电视市场。各类智能盒子(小米盒子、天猫魔盒等)种类繁多,五花八门,家庭互联网进入智能时代。
目前智能电视上唯一的杀手级应用就是看视频。在智能电视上的操作主要是以遥控器为主(虽然很多智能电视具备语音交互能力,但是目前还存在居多问题,导致交互能力有限),操作相对手机来说更为不便,因此个性化推荐的作用就凸显出来,智能电视上是更适合做智能推荐的。
作者之前工作过的一家公司开发的家庭智能软件产品电视猫,作为聚焦家庭智能终端(电视机、智能盒子)上的视频应用,从2012年就开始构建个性化推荐系统。推荐系统在提升电视猫的用户体验、创造商业价值等方面产生了巨大的价值。爱奇艺、腾讯视频、优酷等互联网视频巨头都已经布局智能电视端,并且它们都提供了一定的智能推荐能力。另外,像广电体系下的公司都在家庭互联网上的视频推荐上有业务需求或者自己入局做智能推荐。
在智能电视或者智能盒子上构建推荐系统,由于交互方式和展示方式上的特殊性,以及面对的是非移动多人场景,跟移动端有很大的差别,且更有难度,这里面有很多点是值得探索和挖掘的,比如怎么更好地跟用户交互、怎么识别多人场景并提供精准推荐能力。
家庭场景中另外一个不得不说的智能硬件是智能音箱。前几年亚马逊的Echo在美国大热,引爆了智能音箱市场,国内快速跟进,BAT、小米、科大讯飞等一众企业纷纷布局,上演了智能音箱大战。国内目前每年有千万级的销售量,逐步成为家庭中仅次于智能电视的现象级硬件产品。
智能音箱以语音交互为主(带屏智能音箱也可以采用触控的方式交互),智能音箱上的应用目前种类非常多,以音乐、故事、知识、生活帮助(查天气、股票等)、购物为主。音乐、新闻、商品、学习等场景可以非常自然地整合个性化推荐能力。由于交互方式、展现方式的限制,在智能音箱上怎么整合智能推荐的精准推荐和信息分发能力,是一个比较难的事情,也是一个非常值得探索的方向。
另外各种特定场景的机器人应用(比如学习型机器人),跟智能音箱类似,可以借助语音,甚至是手势进行交互,这里面也有非常多的可以整合推荐系统的场景待探索和开发。
随着chatGPT和大模型技术的发展,目前像百度、阿里等都将相关大模型整理整合到智能音箱中了,国外也有公司将大模型能力整合到了机器人中。有了大模型的加持,智能音箱和智能机器人可以更高效等与人互动,这时,整合推荐系统提供更加自然、高效的信息分发能力是非常好的机会,值得相关行业的从业者进行产品探索。
在家庭物联网场景中推荐系统也有用武之地,比如智能冰箱,目前很多智能冰箱是带屏的,智能冰箱可以记录家居生活中食物的消费情况,进而了解家庭的饮食习惯。冰箱可以基于用户购买的食品的消耗情况及用户的兴趣偏好情况,自动给用户提供食品补充的个性化推荐,这就跟电商直接联系起来了,非常有商业价值,值得期待和探索。
20.3.2 车载场景
车载场景是一个非常重要的场景,用户规模巨大,同时也是一个比较特殊的场景。在车载场景下司机的主要注意力在开车,现阶段车载智能设备的交互方式一定以语音交互为主,因此应用也会有所局限,音乐、新闻等是主要的应用场景。推荐系统也会聚焦在音乐、新闻等信息流推荐上。
待未来自动驾驶技术更加成熟,那么司机和乘客就可以被完全解放出来,汽车会成为一个移动的互联网空间,这时候可以探索的应用场景和产品形态就有无限可能。汽车是一个移动的封闭空间,跟地理位置相关,那么汽车上的很多应用肯定会跟位置紧密结合。在这个封闭空间中怎么基于场景和产品做个性化的信息分发和物品推荐是非常值得未来探索的方向(除了常规的新闻、音乐、视频推荐,线下消费场景的推荐也成为可能)。
20.3.3 VR(虚拟现实)/AR(增强现实)/MR(混合现实)场景
虚拟现实/增强现实/混合现实等技术的发展,给人类提供了了解世界、获取信息的一扇窗,目前这些智能设备还不够成熟,基于设备之上的应用也相对少(主要是游戏类、视频类)。这类设备的交互方式以语音、手势、触控、头部动作等为主。这类设备上生态还极不成熟,内容也相对少,目前还不满足做智能推荐的条件,但是是一个比较值得期待的方向。特别是当混合现实发展成熟时,就像谷歌眼镜那样,人可以在行走中获取信息,并可以整合周围的环境信息,推荐系统一定有很多新奇的玩法。
20.3.4 传统行业的精细化、个性化运营场景
传统行业做数智化转型是未来发展的必经之路,这也是企业在激烈的竞争中取胜的必然选择。比如银行业,目前都在推进所谓的大财富生态的建设,各大银行都在自己的APP上提供理财、生活、资讯、商品、O2O等各类围绕用户民生的信息和场景应用。在这些场景中进行精细化、个性化运营是提升用户体验,进行品牌触达,甚至带来产品转换的最好方式。目前很多走在前面的银行都已经进行了布局(比如平安的掌上生活、广发的发现精彩等),其它各类股份行、城商行、农商行也会走这条精细化、个性化运营之路。
除了银行外,证券、保险等金融机构也有类似诉求。其它的传统行业,如医药零售、能源行业、机械制造行业等,都可能存在各种在线上(如小程序)进行精细化运营的需求,这些需求待各类创业者去挖掘、去开拓。
20.4 推荐算法与工程架构的发展
推荐系统中最重要、最核心、最有技术含量的一个模块非推荐算法莫属了。目前主流的、在工业界大量使用的推荐算法有基于内容的推荐算法、各类协同过滤算法等,这些传统的推荐算法时至今日还在推荐系统中发挥着巨大的价值。随着机器学习技术、大数据技术、云计算及软硬件的发展,会有更多新的学习范式应用于推荐系统中。除了算法层面的变化外,通信技术(特别是5G)的发展让各类具备流畅体验的实时推荐成为可能,推荐系统在数据处理、工程架构等方面也会迎来新的发展与机会。下面我们就从算法和工程两个角度来梳理推荐推荐系统的未来发展。
20.4.1 推荐算法新的范式
最近几年随着深度学习技术的发展,深度学习在推荐系统中的应用也越来越广泛。深度学习由于可以获得比传统算法更好的精准度、不需要做复杂的人工特征工程而受到推荐算法工程师的追捧,深度学习技术逐渐成了推荐系统中的主流技术。我们在第9章、第13章就提到了很多基于深度学习技术的召回、排序算法。
推荐系统本质上是一个交互式学习引擎,它会根据用户对推荐物品的反馈(是否浏览、点击、购买等)来调整后续给该用户的推荐结果,这个过程是一个互动的过程,用户与推荐系统互动得越多越频繁,推荐系统就越懂用户,给用户的推荐也会越精准。在机器学习领域有一种学习范式就是互动式学习的典范,这就是强化学习(参见下面图1)。强化学习中智能体通过与环境互动(action)获得环境的反馈(feedback),基于反馈调整自己与环境的交互,形成新的交互方式与策略,最终通过多伦互动,智能体可以更好地从环境中学习,获得更大的综合回报。
图1:强化学习范式
如果我们在强化学习范式下考虑推荐系统,推荐算法就是智能体,而使用推荐系统的人就是环境,推荐系统通过与人互动(推荐系统给人推荐物品,而人对推荐的物品进行行为操作)更深入地了解人的行为特点、兴趣偏好。推荐系统从与人互动中不断迭代,获得更好的推荐效果。强化学习在推荐系统中的应用,工业界已经有一些成果,感兴趣的读者可以查看参考文献3、4、5、6,分别是今日头条、京东、YouTube将强化学习应用于推荐中的案例。
对强化学习感兴趣的读者可以学习参考文献7,这是强化学习之父Sutton写的一本非常有影响力的书。随着推荐系统越来越趋向于实时化,作者相信强化学习在推荐中的应用一定是未来非常值得探索的方向,也一定会产生极大的商业价值。这里顺便提一下,最近大火的chatGPT、大模型技术中用到的一类非常重要技术是RLHF,它是一种人类反馈的强化学习。
机器学习中另外一个非常重要的学习范式是迁移学习,所谓迁移学习简单来说是将从一个领域获得的知识通过某种方式应用于另外一个领域(需要寻找到这两个领域之间的某种关联关系)。这种学习范式对人类来说是再平常不过的事情了,我们平常所说的举一反三、触类旁通等就是人类大脑的迁移学习能力。迁移学习在推荐系统中的应用目前有少量尝试,读者可以查看参考文献8、9、10、11、12,这些都是迁移学习在推荐系统上的探索。其实,chatGPT、大模型中包含的核心思想中就有迁移学习的影子。
目前很多平台型的大公司都孵化出了很多产品,构建出了超大规模的产品矩阵,比如阿里系下的产品矩阵、头条系下的产品矩阵等,在这些产品之间进行迁移学习是非常自然的事情。另外云计算公司服务于非常多的同类型公司,这里面就有非常多迁移学习可以落地的场景,云计算公司从一个公司构建推荐算法服务的经验和获得的算法成果都可以迁移到另外一家同类型的公司中(当然需要考虑到信息安全和隐私,这在下面提到的联邦学习框架下是可行的)。
监督学习目前还是机器学习中最重要、应用最广的学习范式,但是获得大量标准样本是非常费时费力费钱的,怎么在没有大量标注样本的情况下学习是一个非常重要的问题(在医学等领域标记样本不足是很自然的事情)。迁移学习提供了一种可行的方案,另外一个可行的方式是半监督学习(参见参考文献13),半监督学习利用标记样本和无标记样本来进行学习,可以很好解决标记样本不足的问题。目前我们所获得的数据中无标记数据量是非常巨大的,比如视频、音频、评论信息、标的物介绍文本等,这些信息在半监督学习范式下都可以使用。参考文献14就是半监督学习在推荐系统上的尝试。这方面的技术目前还很少看到在企业级推荐系统上的应用,但是一定是未来非常值得深入挖掘的一个方向。chatGPT、大模型中利用少量标注数据进行监督微调也可以看成是半监督学习的应用。
目前国内的产品一般都是通过霸王协议来获取用户数据,多多少少都是不太符合法律和道义的,随着用户隐私意识的增强和法律层面对隐私保护的重视,未来推荐系统可能更难获得更多的用户数据,这就要求推荐算法从更加保护用户隐私的方向努力,在这个方向上联邦机器学习(见参考文献15)就是一种非常好的学习范式。
联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。联邦机器学习在推荐系统中的应用已经在业界有比较好的尝试了,未来肯定会是推荐系统发力的一个方向。
随着Transformer、Bert、GPT、预训练等技术的流行,chatGPT和大模型等场景应用有了爆发之势,这些新技术怎么整合到推荐系统中也值得期待。参考文献17-21就是相关技术在推荐场景的应用。另外说一下,chatGPT对交互方式有很大革新,那么chatGPT等技术怎么在特定场景中颠覆原有的交互方式,是否对特定场景的推荐系统产生深远影响,值得大家去思考、关注和探索。
上面讲到了在推荐算法上未来推荐系统可能的发展方向和变化,在数据处理及工程方面,推荐系统也会面对很多的调整、变化与发展,下面我们来简单梳理一下。
20.4.2 推荐系统工程层面的发展变化
现在主流的基于内容的推荐算法和协同过滤推荐算法都只利用了部分用户及标的物数据进行模型训练,还远远没有将所有可用的信息综合起来进行推荐。这一方面是数据量太大,二是数据处理复杂(特别是富媒体数据处理起来成本高、技术复杂),三是更多的数据对推荐算法性能及可拓展性的要求更高。在不久的将来随着特征工程技术的进步、数据处理能力的增强、计算成本的降低以及算法自身的发展,获取更多的数据进行更加复杂模型的训练成为可能,更多的数据和更复杂的模型也会让最终的推荐效果更好。这种复杂的模型可以是更深层的深度学习模型还可以是各种模型的混合推荐,甚至是GPT大模型。
随着通信技术的发展,特别是5G技术的普及,信息传输的速度更快、传输费用更便宜,我们可以在极短的时间内获得大量的数据,计算能力的增强和算法模型的发展让处理数据更加快速及时,同时用户也趋向于获得及时快速的互动,在这些因素的影响下,推荐系统正变得越来越实时。目前大火的信息流推荐就是很好的体现。实时推荐不仅用户体验好,并且还具备更好的商业价值(实时推荐增加了信息分发的效率,让单个推荐位有更大的周转率,提升了单个位置的商业价值),实时推荐是推荐系统未来最为重要的发展方向之一。
要想做好实时推荐,除了算法外,对工程架构、交互方式等都需要进行相应调整。在工程上需要采用流式处理技术(如Flink、Spark Streaming等)来进行特征处理与模型训练,这样才可以更好地响应用户的实时操作。下面讲到的就是一种比较有创新的实时推荐的思路,即云端、终端协同的思路。
在云端实时处理庞大海量的用户信息为用户进行推荐已经非常费力,在终端完成这个事情是一种比较有创意的想法。具体的做法可以是先在云端基于全量数据离线训练一个复杂的模型,并将该模型同步到终端,终端基于该模型和用户的实时交互信息,实时优化该模型,让该模型跟着用户的行为一起进化,最终越来越适配用户的兴趣特征(见下面图2)。
图2:在终端上增量学习模型,为用户提供更加个性化的实时推荐
上面这种部署实时推荐算法的方式,更容易做到实时化,不受网络因素的影响,同时模型也是为用户量身打造的,更满足用户口味。当然,这对终端性能、存储能力、模型实时训练等提出了很高的要求。但不可否认,这一定是一个值得尝试的、有巨大应用价值的方向。
交互方式上也需要给用户提供更加自然流畅的体验,目前在移动端的下拉刷新就是一种比较好的交互方式,当推荐场景拓展到家庭智能设备、车载设备、甚至虚拟设备上时,交互方式需要进行重大革新。特别是chatGPT等大模型技术的出现,未来对话式语音交互会有非常大的发展空间,这对特定场景下的推荐系统的交互方式会产生革新。
还有一个不得不提的点是特征工程,这是任何机器学习算法必须要面对的问题,随着富媒体信息在所有信息中所占比重越来越大以及实时推荐对特征处理时效性的要求,这个问题变得日益严峻。幸好深度学习等技术可以减少人工特征工程的难度,另外自动化特征工程在某种程度上也可以缓解这个问题。
目前的推荐算法都是部署在云端的,所有人共用一套推荐算法体系。随着边缘计算技术的发展,未来是极有可能在终端上部署比较复杂的模型的,到那时就可以为每个用户构建一个个性化的推荐算法模型,直接在终端给用户生成推荐结果。这种部署方式有几大优点:一是推荐会更加及时,可以给用户更好的体验;二是每个人拥有自己量身定制的算法,算法精准度也会更高;三是信息直接在终端进行处理,也更加安全可靠。
总之,随着机器学习算法自身的发展,随着硬件、信息处理技术、信息传输技术的发展,未来的推荐系统在算法实现方案、工程架构等方面都会产生极大的变化,会出现更多的可能性。这些都是值得我们去期待、去思考、去探索的方向。
20.5 在与推荐系统协作上凸显人的价值
虽然以深度学习为代表的第三次人工智能浪潮给学术界和产业界带来了极大的利好,机器学习在很多方面的能力达到甚至超越了人类。2022年底的chatGPT更进一步拉开了新一轮科技革命的序幕,让AGI时代的到来变得更有可能。
但在涉及到创造和情感方面,在可预见的未来机器是无法取代人的。而为用户提供有价值的信息和情感联系是好的、具备人文关怀的推荐系统必须要具备的能力,这就要求人和机器有效协同,这也是未来很长一段时间推荐系统的常态。在数据过滤、特征选择、模型调整、结果干预、展示优化、效果调控等推荐系统的各个维度,人工都可以发挥极大的价值,加入了人工因素的推荐系统更有情感、更加安全、也更可控。
比如我们在前面提到的银行精细化运营场景,银行就要求在整个推荐过程中加入人工对内容进行审核的环节,确保内容在质量、安全性上满足银行监管的要求。
目前人工在推荐系统中所起的调控作用还比较粗暴,更多可能是对结果层面的干预,未来人工怎么跟推荐系统更好地协同,怎样在推荐系统中发挥人的创造力和情感力量是非常值得思考和探索的。
20.6 关注推荐系统多维价值体现
推荐系统作为一种获取商业价值的工具,已经被过度商业化了。在用户体验上虽有所考虑、有所收敛,但是做得还不够。特别是在人文关怀、生态健康发展和弘扬社会正向价值观这3个方向上,是当前推荐系统价值体现中非常缺失的部分。因此,推荐系统还有很长的路要走。
随着科技的发展,特别是云计算将很多技术能力变成了像水电煤一样可以方便获取的资源,大家在技术能力上的差异会越来越小,这时能够让你脱颖而出的可能是你的产品能不能打动用户、能不能跟用户产生共情。推荐系统作为一个跟用户强交互的产品,也是满足这种趋势变化的。因此,未来能够做好推荐系统的企业一定是能够定义好推荐系统价值的企业,不光要考虑商业价值,更应该考虑用户体验、情感链接和人文关怀。
总结
本章基于作者在推荐领域多年的实践经验和深入思考,从多个维度对推荐系统的未来发展进行了梳理和总结。
国家层面对大数据与人工智能技术的大力支持,有利于推荐行业获得更多的专业人才,同时竞争也明显加剧。云计算等技术的发展让构建推荐系统就像购买商品一样方便,创业公司可以更轻量、更便捷、低成本地在产品中整合推荐能力。
政策层面的支持、技术的发展,对推荐行业就业也会产生深远影响。企业更需要推荐算法的商业策略师更好将推荐算法落地到产品中,而推荐从业人员需要关注推荐系统的业务价值产出。
物联网、通信技术、硬件技术、大模型技术的发展,拓展了推荐系统的应用场景,推荐系统会应用到更多的领域,包括家庭场景、智能家居场景、车载场景、虚拟现实场景、toB场景等。在这些新场景中推荐系统与人的交互方式会发生极大的变化,语音交互、手势交互等新交互方式成为可能。
在推荐算法上,最近几年深度学习已经在推荐上取得了非常好的效果,未来新的推荐范式,如强化学习、迁移学习、半监督学习、联邦机器学习、大模型系列技术等都会在推荐系统中获得规模化使用。技术的进步让推荐系统利用更多的富媒体数据训练模型成为可能,推荐系统也会更加实时化、个性化,甚至可能每个用户都会拥有一套量身定制的个性化推荐引擎。
推荐系统不仅要获得商业价值,在用户体验、人文关怀、生态繁荣、弘扬正向价值观等维度也需要有所突破,这些多维度的价值会越来越重要,会成为推荐系统的核心竞争力。在这些价值发挥中人的作用要凸显出来,未来很长一段时间,人与机器是协同发展的。推荐系统只有更多地注入人的情感和灵魂,才能做得更好,整个推荐行业才会更加欣欣向荣。
参考文献
[开设大数据专业的高校] https://jingyan.baidu.com/article/3d69c55125fd54f0cf02d718.html
[开设人工智能专业的高校] https://www.sohu.com/a/321455764_383037
[2019 今日头条] Deep Reinforcement Learning for Online Advertising in Recommender Systems
[2018 京东] Deep Reinforcement Learning for List-wise Recommendations
[2018 京东] Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning
[2018 YouTube] Top-K Off-Policy Correction for a REINFORCE Recommender System
[图书:强化学习 第二版] http://product.dangdang.com/27926613.html
Social-behavior Transfer Learning for Recommendation Systems
[2012] Transfer Learning in Collaborative Filtering with Uncertain Ratings
[2012] Selective Transfer Learning for Cross Domain Recommendation
[2016] Transferring User Interests Across Websites with Unstructured Text for Cold-Start Recommendation
[2015] A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems
[半监督学习] https://baike.baidu.com/item/%E5%8D%8A%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0/9075473?fr=aladdin
Bridging Collaborative Filtering and Semi-Supervised Learning: A Neural Approach for POI Recommendation
[联邦机器学习] https://baike.baidu.com/item/%E8%81%94%E9%82%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/23618046?fr=aladdin
https://www.gov.cn/zhengce/2022-11/26/content_5728941.htm
Collaborative Transformers for Personalized Ranking, Yuchen Fang et al. (2022)
Efficient Contextualized Recommendation with Pretrained Language Models, Yu Gong et al. (2021)
Real-time Recommendation with Transfer Learning via Collaborative Transformer, Huiting Hong et al. (2021)
Semi-Supervised Collaborative Filtering with Pretrained Transformer Models, Ruobing Xie et al. (2022)
Visual-Aware Recommendation with Generative Pre-Training Transformer, Mengxi Liu et al. (2021)
大家如果对推荐系统感兴趣,可以点击下面链接购买我出版的图书《构建企业级推荐系统》,全面深入地学习企业级推荐系统的方法论。