Chat GPT的大热,让人们的视线又一次聚焦于“人工智能”领域。通过与用户持续对话的形式,更加丰富的数据会不断滚动“雪球”,让Chat GPT的回答变得越来越智能,越来越接近用户最想要的答案。ChatGPT能否颠覆当下的推荐系统范式?推荐系统、搜索引擎的未来将何去何从?
文章目录
- 1.内容另辟蹊径
- 2. 作者背景资深
- 3. 阅读人群广泛
- 4.书本内容
- 5.目录
而这一概念,其实在过去广泛引用的app中,早有雏形,比如, 淘宝的猜你喜欢,抖音的推荐视频沉浸流等等。而支撑着这些app背后的,就是那个“总能猜中你喜欢的” 推荐系统。无论是内容类平台,还是电商类平台,依靠着不断地与用户交互信息,从而提供给用户越来越精准的推荐场景,而当用户在平台的推荐场景内停留,甚至消费时,平台就达到了获取商业价值的目的,例如抖音的天价广告收入、淘宝的巨额商品佣金,或时其他的附加值,都是应用了这一逻辑。
如果你想要了解更多的人工智能算法逻辑,亦或是知悉推荐系统背后的运作规则,又或是探清风云巨变下的互联网巨头的业务思路,这本《业务驱动的推荐系统:方法与实践》将会是你的不二选择!
1.内容另辟蹊径
《业务驱动的推荐系统:方法与实践》是一本不独以推荐算法为上,而是从业务诉求的视角出发,为读者描绘当下主流推荐系统的设计思想和架构全貌。它首次从业务的视角下,解读了推荐系统的架构设计、评估方法、数据工程、算法原理,并揭秘了在千万级DAU下,工业推荐系统的构建和优化奥秘。
目前市面上介绍推荐系统的书比较同质化,内容都以推荐算法和模型为主,堆砌大量SOTA模型,这就很容易让读者误以为掌握了算法就能做好推荐系统,取得商业收益。但事实上,对于推荐算法工程师而言,算法与模型好比一把屠龙宝刀,如果没有掌握与之配合的修炼心法和功法技巧,就往往发挥不出这个宝器的威力。而这个修炼心法就是通常所讲的业务逻辑,唯有掌握业务驱动算法迭代的方法论,将推荐系统植根于业务之上,才能最大限度的发挥出算法与模型的作用。
此外,本书在介绍基于机器学习、深度学习的推荐算法时,重“为什么”而轻“怎么做”,这也是本书与其他同类书的不同之处。推荐算法相关的研究文献浩如烟海,理解算法选型的根因比知道有哪些算法更重要。
它不仅描绘了当下主流推荐系统的设计思想和架构全貌,还重点突出了系统每个模块所需要解决的问题,进而介绍一至两种,在实践中检验普遍有效、且在学术界具备里程碑性质的算法。从日常工作实际会遇到的问题出发,在学术界每年产出的大量新算法研究中去粗取精,真正意义上的帮助读者识别有价值的算法!
2. 作者背景资深
本书作者傅聪,在推荐系统领域有着丰厚的技术沉淀。他曾在阿里担任推荐和搜索方面的算法专家,独立带领团队负责千万DAU下的推荐和搜索场景,同时也是工业级高性能高维数据检索算法NSG、SSG的发明人。
傅聪的本科与博士均毕业于浙江大学计算机学院,曾留美赴南加州大学做访问学者。师从国家优秀青年学者蔡登教授与国家杰出青年学者何晓飞教授。在两位优秀导师的带领下,他在人工智能、推荐系统、数据库、数据挖掘、自然语言处理、神经网络、知识图谱等多个领域都产出了丰富的研究成果。并在计算机顶级会议或期刊TPAMI、KDD、VLDB、IJCAI、EMNLP、CIKM等发表过多篇论文,目前是TKDE、IJCAI、EMNLP、AAAI、Neuron Computing等国际会议的审稿人。
在学术界时,傅聪已经开始致力于推荐系统、搜索引擎前沿技术的研究,并为日后的工作打下了坚实的学术基础;在工业界时,傅聪在千万级DAU的淘宝电商,以及优酷视频业务的场景下,均成功实现了推荐系统、搜索引擎、搜推融合等技术方向的项目落地。可以说,对于推荐业务,傅聪有着丰富的实战经验和扎实的学术根基。
3. 阅读人群广泛
本书适合从事推荐系统相关工作和学术研究的读者阅读,具体包括:在企业中从事推荐系统算法研发、优化的从业者;在企业中从事推荐系统引擎开发、维护的从业者;在企业中与推荐算法和工程开发相关的人员对接的运营人员和产品设计人员;对推荐系统感兴趣的在校学生;从事推荐算法研究的科研工作者。
通过阅读本书,在校学生可以提前从商业、运营、算法、工程视角了解推荐系统,从而对推荐系统有一个更加立体化的认知;科研工作者可以从业务的视角,重新理解召回、排序和决策智能方面的经典算法和学术界有里程碑意义的算法;企业新手可以从技术和业务的双重视角,提前了解并规划工程师的成长路径,以达到事半功倍的效果;企业从业人员可以从业务视角理解推荐系统的顶层设计,掌握业务驱动的推荐系统设计思想、评估方法。
4.书本内容
本书内容分为四部分。
第一部分(第1~3章):业务驱动下的推荐系统总览。从宏观角度介绍推荐系统架构设计、评估方法以及背后的业务思考。
第二部分(第4~7章):推荐系统的数据工程。数据是推荐系统的根本,如何获取各类正确的数据并构建合理的特征体系是这一部分的主要内容。
第三部分(第8~10章):推荐系统的算法原理与实践。主要介绍推荐系统的核心算法模块以及相关代表性算法。
第四部分(第11章):推荐算法工程师的自我成长。主要介绍推荐算法工程师的成长路径。
计算机专业及有人工智能算法研究背景的读者,阅读本书的难度不大;缺少人工智能、机器学习算法相关内容预备知识的读者,在阅读第三部分时可能会遇到困难,建议学习机器学习相关内容后再阅读本书;无专业背景的推荐业务相关的运营人员和产品设计人员,可以仅阅读每章关于业务价值和问题建模的部分,以便于理解研发人员的思维模式。
5.目录
前言第一部分 业务驱动下的推荐系统总览第1章 从业务视角看推荐系统21.1 推荐系统的定义与商业价值21.1.1 推荐系统的基本概念与业务驱动思想31.1.2 浅谈个性化推荐带来的商业价值71.2 从运营、算法与工程视角看推荐系统71.2.1 推荐业务运营思维:货找人81.2.2 推荐算法建模思维:人找货101.2.3 推荐引擎工程展望:服务产品化11第2章 从业务视角看推荐系统的顶层设计122.1 业务驱动下的推荐系统设计思想122.1.1 业务无关的推荐系统抽象132.1.2 推荐算法模块核心能力的建设152.2 从系统框架透视业务生态循环172.2.1 系统大图剖析172.2.2 监察者:埋点日志服务172.2.3 业务大脑:数据计算、分析及仓储服务182.2.4 主循环系统:召回与排序模块192.2.5 副循环系统:运营管控与作业模块212.2.6 新陈代谢:运维与实验平台222.3 迭代效率最大化:图化服务和配置化迭代25第3章 评估推荐系统的方式与维度273.1 业务驱动型推荐系统的评估要点273.1.1 体验优先准则和量化方式283.1.2 评估推荐系统的方法论293.1.3 从3种业务价值出发设计评估体系313.2 B端业务:B端用户体验的评估维度313.2.1 平台玩法的可解释性313.2.2 投放效果的可预测性323.2.3 投入产出比333.2.4 基尼指数343.3 C端业务:C端用户体验的评估维度343.3.1 兴趣相关性353.3.2 内容质量353.3.3 结果多样性353.3.4 推荐惊喜性363.4 平台成长:平台价值评估维度363.4.1 产品调性和品牌印象373.4.2 消费与转化率373.4.3 高、中、低活用户留存373.4.4 活跃用户量383.5 评估方法概览383.5.1 用户调研393.5.2 离线评估393.5.3 在线评估423.6 AB实验423.6.1 AB实验中的流量切分设计433.6.2 AB实验的通用流程443.6.3 实验结果的显著性校验和关联分析443.6.4 实验报表与监控报警45第二部分 推荐系统的数据工程第4章 业务标签体系484.1 业务标签体系概述484.1.1 业务标签体系的含义484.1.2 业务标签体系的价值494.1.3 标签体系为什么要业务定制化494.2 业务标签体系的设计思路504.2.1 业务标签体系的概念设计504.2.2 业务标签体系的系统设计524.3 业务标签的挖掘方法534.3.1 提取式标签挖掘544.3.2 生成式标签挖掘554.3.3 基于主动学习的人机协同标注系统564.3.4 标签改写、纠错与聚合564.3.5 标签权重计算574.4 业务标签体系的评估方法584.4.1 离线评估584.4.2 在线评估59第5章 用户画像:业务层面的人格抽象605.1 用户画像概述605.1.1 用户画像的含义605.1.2 用户画像的业务价值和算法价值615.2 用户画像设计615.2.1 用户画像概念体系设计615.2.2 用户画像数据系统设计645.3 用户画像的构建与迭代655.3.1 人工挖掘方法655.3.2 基于机器学习的挖掘方法665.3.3 用户画像的优化迭代685.3.4 用户画像权重计算705.4 用户画像的评估方法715.4.1 离线评估715.4.2 在线评估72第6章 生态循环的血液:数据获取与处理736.1 埋点日志服务与埋点体系的设计思想736.1.1 埋点日志服务简介746.1.2 业务驱动的埋点体系设计思想756.2 可扩展的业务埋点体系776.2.1 SPM埋点体系776.2.2 SCM埋点体系776.2.3 扩展埋点体系EXT786.2.4 会话级埋点设计与消费路径跟踪786.3 基于埋点数据的处理和分析796.3.1 常见重要数据指标释义796.3.2 漏斗效应和优化分析81第7章 业务定制化特征和样本工程设计837.1 推荐特征体系概览837.1.1 推荐特征体系简介847.1.2 特征体系的设计思想857.2 推荐系统特征设计及案例867.2.1 用户描述性特征867.2.2 用户特征的人群泛化877.2.3 内容描述性特征877.2.4 内容统计类特征887.2.5 内容统计类特征泛化887.2.6 用户与内容的交叉特征设计897.2.7 用户历史行为序列特征设计917.2.8 实时特征的定义和价值927.2.9 实时统计特征设计和数据流程927.2.10 基于机器学习的特征构造947.3 特征应用常见问题957.3.1 多值特征处理957.3.2 在线、离线特征的一致性967.4 特征去噪967.4.1 威尔逊置信区间方法967.4.2 对数平滑方法977.4.3 百分位点离散化方法977.5 特征样本构造和模型训练977.6 时间穿越及处理987.6.1 时间穿越的定义及影响987.6.2 样本现场还原987.7 特征与样本消偏997.8 特征评估方法100第三部分 推荐系统的算法原理与实践第8章 业务驱动视角下的召回技术1048.1 推荐系统召回技术概览1048.1.1 推荐系统召回技术的业务定位1048.1.2 业务驱动下的召回技术建模思维1068.2 召回中的策略框架1088.2.1 圈池策略1088.2.2 召回多样性策略1088.2.3 基于业务策略的召回1098.2.4 召回模块框架1098.3 U2I召回算法1118.3.1 UserCF算法1118.3.2 矩阵补全算法1138.3.3 向Neural CF迈进:Deep Match框架1148.4 I2I召回算法1178.4.1 I2I召回的业务价值及特点1178.4.2 Trigger Selection方法1188.4.3 ItemCF算法1188.4.4 Item2Vec算法1188.5 基于图结构的召回算法1198.5.1 图召回的前世今生和业务价值1198.5.2 Swing I2I召回算法1208.5.3 GraphSage算法1228.6 向量召回的另一面:近似检索算法1278.6.1 ENN向量检索与ANN向量检索1288.6.2 ANN向量检索算法的分类及特点1308.6.3 HC检索算法1318.6.4 IVF-PQ检索算法与Faiss1338.6.5 SSG检索算法1388.7 召回中的采样技术140第9章 业务驱动视角下的排序技术1429.1 排序模块概览1429.1.1 排序模块的业务价值1429.1.2 业务驱动下的排序模块组件1439.2 粗排模块1449.2.1 粗排模块的业务价值和技术思考变迁1449.2.2 粗排算法选型原则1459.2.3 GBDT算法1459.2.4 GBDT+LR复合排序1499.2.5 双塔深度网络1509.2.6 从精排模型蒸馏出粗排模型1519.3 精排模型1529.3.1 精排模型的特点与业务价值1529.3.2 从LR到FM:从半人工走向全自动1539.3.3 端到端暴力美学:精排CIN模块1559.3.4 序列特征建模1579.3.5 稠密特征处理1589.3.6 归纳偏执处理1599.3.7 特征融合1609.3.8 广义LR排序范式1609.4 多准则排序1619.4.1 多准则排序简介及业务意义1619.4.2 MMoE建模多准则任务1619.4.3 多目标的融合1639.4.4 从Point-wise到List-wise:强化学习重排序1659.4.5 解决数据匮乏问题:生成式强化学习重排167第10章 算法辅助人工:决策智能16810.1 决策智能概述16810.1.1 决策智能的含义16810.1.2 推荐业务中的决策智能16910.2 决策智能与推荐探索利用机制16910.2.1 冷启动中的决策智能16910.2.2 场景冷启动中的人工部分17010.2.3 新用户冷启动中的人工部分17210.2.4 冷启动决策中的迁移学习17310.2.5 新内容冷启动算法17510.3 因果推断技术17810.3.1 决策智能与因果推断17810.3.2 智能营销与上推建模17910.4 流量调控18110.4.1 流量调控的业务价值与应用场景18110.4.2 异质内容混排及强化学习应用18110.4.3 履约保量的流量调控及算法184第四部分 推荐算法工程师的自我成长第11章 推荐算法工程师的成长路径18811.1 技术:推荐算法工程师的立身之本18811.1.1 推荐算法工程师的知识体系18811.1.2 推荐算法工程师的技术成长路径18911.2 业务:推荐算法工程师的立业之道19011.2.1 推荐算法工程师的业务成长路径19111.2.2 推荐算法业务目标优化迭代的节奏19211.3 推荐算法工程师的自我修养19311.3.1 推荐算法工程师的工作日常19311.3.2 优秀的推荐算法工程师的特征19411.3.3 在自证价值和技术沉淀中寻求平衡195