【NeurIPS 2024】LLM-ESR:用大语言模型破解序列推荐的长尾难题

标题期刊年份关键词
LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential RecommendationNeurIPS2024Large Language Models, Sequential Recommendation, Long-tailed

📚研究背景

在电商和社交媒体的世界里,序列推荐系统(Sequential Recommendation Systems, SRS)就像一个贴心的购物助手,它通过分析用户的历史行为来预测他们接下来可能感兴趣的商品。🛍️ 但现实很骨感,大多数用户只和少数商品打过交道,而大部分商品也鲜少被问津,这就形成了所谓的“长尾问题”。这对于推荐系统来说,简直就是一场“灾难”,因为它不仅影响用户体验,还让商家的长尾商品失去了曝光的机会。😱

🧩相关工作

其实,之前的研究者们也尝试过解决这个问题。有的通过分析热门和长尾商品的共现模式来丰富长尾商品的表示,有的则通过数据增强来为长尾用户增加伪交互。不过,这些方法要么会引发“跷跷板效应”,要么因为用户相似度不准确而引入噪声。😩

🎯LLM-ESR的创新

LLM-ESR它提出了一个全新的框架,用LLM的语义嵌入来增强传统的SRS,而且完全不用担心LLM带来的额外推理负担。🧠

  • 双视图建模框架:它同时从语义视角和协同视角建模用户偏好语义视角利用LLM的语义嵌入来捕捉长尾物品的特征,而协同视角则保留了传统SRS对热门物品的推荐能力👀

  • 检索增强自蒸馏:对于长尾用户,LLM-ESR通过检索与目标用户语义相似的用户,并利用他们的交互信息来增强目标用户的偏好表示,就像是给长尾用户“借”了一些有用的信息。🔍

🎯 LLM-ESR的核心方法

LLM-ESR的核心思想是利用大语言模型(LLM)的语义能力来增强传统的序列推荐系统,同时避免引入额外的推理负担。它通过以下两大模块实现:

💡 1. 双视图建模框架(Dual-view Modeling Framework)

这个框架的核心是同时从语义视角协同视角建模用户偏好:

  • 语义视角(Semantic View):通过LLM对物品的属性(如标题、品牌、描述等)进行编码,生成语义嵌入。这些嵌入能够捕捉物品的语义信息,从而更好地推荐长尾物品。📝

  • 协同视角(Collaborative View):利用传统的协同过滤方法,通过用户的历史交互数据学习物品的嵌入。这部分专注于热门物品的推荐能力。📈

双视图融合:通过跨注意力机制(Cross-Attention)将语义嵌入和协同嵌入进行融合,让模型同时学习到语义信息和用户行为模式。这样既能利用LLM的强大语义理解能力,又能保留传统SRS对热门物品的推荐优势。🔗

💡 2. 检索增强自蒸馏(Retrieval-Augmented Self-Distillation)

对于长尾用户,由于他们的交互记录较少,模型很难准确捕捉到他们的偏好。LLM-ESR通过以下步骤解决这个问题:

  • 检索相似用户利用LLM生成的用户语义嵌入,检索与目标用户语义相似的其他用户。🔍

  • 自蒸馏:将这些相似用户的交互信息作为“指导信号”,通过自蒸馏(Self-Distillation)的方式增强目标用户的偏好表示。这相当于“借”来了相似用户的信息,帮助模型更好地理解长尾用户的偏好。🔋

🔬实验

作者在Yelp、Amazon Fashion和Amazon Beauty这三个真实世界的数据集上进行了测试,结果表明LLM-ESR在所有指标上都超越了现有的基线方法,尤其是对长尾用户和长尾物品的推荐效果提升显著。📈

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/34605.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C语言_数据结构总结9:树的基础知识介绍

1. 树的基本术语 - 祖先:考虑结点K,从根A到结点K的唯一路径上的所有其它结点,称为结点K的祖先。 - 子孙:结点B是结点K的祖先,结点K是B的子孙。结点B的子孙包括:E,F,K,L。 - 双亲:路径上…

Android 14 Telephony 网络选择功能介绍

一、总体介绍 (一)功能 手动搜网的流程:用户通过UI触发,调用TelephonyManager的API,比如startNetworkScan,然后这个请求会传递到RIL层,通过AT命令与基带通信,进行网络扫描。结果返回后,经过TelephonyRegistry通知应用层。中间可能涉及IPC,比如Binder通信,因为应用和…

系统思考全球化落地

感谢加密货币公司Bybit的再次邀请,为全球团队分享系统思考课程!虽然大家来自不同国家,线上学习的形式依然让大家充满热情与互动,思维的碰撞不断激发新的灵感。 尽管时间存在挑战,但我看到大家的讨论异常积极&#xff…

位运算(基础算法)

按位与AND( & ) 只有当两个位都为1时,结果才为1,否则为0。结果不会变大 按位或 OR( | ) 只有当两个位中有一个为1时,结果才为1,否则为0。结果不会变小 按位异或 XOR ( ^ ) 只…

规模效应的三重边界:大白话解读-deepseek为例

前言:当Scaling Laws遇见边际递减效应 在人工智能的狂飙突进中,大语言模型如同不断膨胀的星体,吞噬着海量算力与数据。OpenAI于2020年揭开的Scaling Laws,曾为这场盛宴指明方向:模型性能随参数规模(N&…

力扣143重排链表

143. 重排链表 给定一个单链表 L 的头节点 head ,单链表 L 表示为: L0 → L1 → … → Ln - 1 → Ln 请将其重新排列后变为: L0 → Ln → L1 → Ln - 1 → L2 → Ln - 2 → … 不能只是单纯的改变节点内部的值,而是需要实际的…

wow-rag:task3-初步体验问答引擎

做RAG需要自己准备一个txt文档,新建一个docs文件夹,放进去。例如,这里放了一个./docs/问答手册.txt # 从指定文件读取,输入为List from llama_index.core import SimpleDirectoryReader,Document documents SimpleDirectoryRead…

bgp服务器是什么意思

一、基础概念 ‌BGP服务器‌(Border Gateway Protocol Server)指通过 ‌边界网关协议(BGP)‌ 实现 ‌多运营商线路智能调度‌ 的服务器,能够自动选择最优路径连接不同网络(如电信、联通、移动)…

AtCoder Beginner Contest 397(ABCDE)

目录 A - Thermometer 翻译: 思路: 实现: B - Ticket Gate Log 翻译: 思路: 实现: C - Variety Split Easy 翻译: 思路: 实现: D - Cubes 翻译&#xff1a…

unserialize3 [有难度,序列化反序列化知识点]

详情: 地址:https://adworld.xctf.org.cn/challenges/list (unserialize3) 看到题目名称是反序列化 代码审计 <?php class xctf{// 定义一个公有属性$flag&#xff0c;通常CTF题目中需要获取该属性值public $flag 111; // 此处为示例值&#xff0c;实际可能为真实flag/*…

【Linux-传输层协议TCP】TCP协议段格式+确认应答+超时重传+连接管理机制(三次握手、四次挥手、理解TIME_WAIT + CLOSE_WAIT)

TCP协议 TCP全称为“传输控制协议&#xff08;Transmission Control Protocol&#xff09;”人如其名&#xff0c;要对数据的传输进行一个详细的控制。 1.TCP协议段格式 下面是TCP报头各个字段的表格形式&#xff1a; 字段名称字段大小描述源端口16位发送端TCP端口号。目的端…

《AI大模型趣味实战》No2 : 快速搭建一个漂亮的AI家庭网站-相册/时间线/日历/多用户/个性化配色(中)

快速搭建一个漂亮的AI家庭网站-相册/时间线/日历/多用户/个性化配色(中) 摘要 在上一篇文章中&#xff0c;我们介绍了如何搭建一个基础的家庭网站&#xff08;V1.0版本&#xff09;&#xff0c;包含了用户管理、相册管理、时间线和日历等功能。本文将继续深入&#xff0c;详细…

React(二):JSX语法解析+综合案例

事件绑定 this绑定方式 问题&#xff1a;在事件执行后&#xff0c;需获取当前类的对象中相关属性&#xff0c;此时需要this——当打印时&#xff0c;发现this为undefined,这又是为啥&#xff1f; 假设有一个btnClick函数&#xff0c;但它并不是我们主动调用的&#xff0c;而是…

One of the configured repositories failed (未知), and yum doesn‘t have enough cached data to continue

centos操作系统运行yum命令是出现如下报错&#xff1a; 解决办法&#xff1a; 由于CentOS的源地址内容已移除&#xff0c;CentOS 操作系统结束了生命周期&#xff0c;源地址内容已移除。 只需要将它的base源换成其他可用源&#xff0c;我这里将它换成了阿里的base源 备份原来…

【蓝图使用】绘制mesh顶点的法线

文章目录 绘制法线Normal准备工作UE5资源制作蓝图制作 参考 绘制法线Normal 参考[1]打算用蓝图走一遍渲染管线&#xff0c;还是可以的 准备工作 Blender制作一个三个顶点的模型 要不要材质无所谓&#xff0c;就一个三个顶点的mesh即可&#xff0c;参考[2] 找到一个法线贴…

202503执行jmeter压测数据库(ScyllaDB,redis,lindorm,Mysql)

一、Mysql 1 、 准备MySQL 连接内容 2 、 下载连接jar包 准备 mysql-connector-java-5.1.49.jar 放到 D:\apache-jmeter-5.6.3\lib\ext 目录下面; 3 、 启动jmeter ,配置脚本 添加线程组---》JDBC Connection Configuration---》JDBC Request---》查看结果树。 1)测…

f-string高级字符串格式化与string Template()

f-string 高级字符串格式化 f-string无法替换带有${name}的字符串&#xff0c;会保留\$ def test_fstring():"""f-string&#xff0c;高级字符串格式化的方式"""s "my name is {name}".format(name李白)print(s)# 无法替换$s &quo…

【Java 优选算法】分治-归并排序

欢迎关注个人主页&#xff1a;逸狼 创造不易&#xff0c;可以点点赞吗~ 如有错误&#xff0c;欢迎指出~ 数组分块如二叉树的前序遍历, 而归并排序就如二叉树的后序遍历 912. 排序数组 解法 使用归并算法 根据中间点划分区间, mid (right left ) / 2将左右区间排序合并两个有…

docker入门篇

使用docker可以很快部署相同的环境,这也是最快的环境构建,接下来就主要对docker中的基础内容进行讲解.Docker 是一个用于开发、交付和运行应用程序的开源平台&#xff0c;它可以让开发者将应用程序及其依赖打包到一个容器中&#xff0c;然后在任何环境中运行这个容器&#xff0…

Learning vtkjs之ContourLoopExtraction

过滤器 等高线轮廓提取 介绍 这个过滤器可以获取一个cut的相交的循环的线&#xff0c;目前这个案例cut是一个平面&#xff0c;应该是可以支持更多隐式公式 效果 可以设置这个平面的原点Origin 法线方向Normal&#xff0c;然后就可以求交了 核心代码 需要实现这个代码主要…