TLDR: 之前我们简单测试了下ChatGPT作为推荐器在序列推荐和可解释推荐上的能力,即如何利用ChatGPT实现推荐模型的能力?今天再跟大家分享一篇通过实验来探究ChatGPT通用推荐能力的文章,其在评分预测、序列推荐、直接推荐、解释生成和评论总结等五个推荐场景中测试了ChatGPT的推荐能力。
本文介绍了一种基于ChatGPT的通用推荐模型。与传统方法不同,ChatGPT不需要针对每个任务进行专门调整,而是通过大规模语料库学习到丰富的语言和世界知识,并将其应用于各种推荐场景中。具体的,使用ChatGPT完成推荐任务的工作流程如下图所示,包括三个步骤。首先,根据推荐任务的特定特征构建不同的prompts,具体的prompts包括三部分,即任务描述、行为注入和格式指示。其次,这些prompts被用作ChatGPT的输入,根据prompts中指定的要求生成推荐结果。最后,通过改进模块检查和优化ChatGPT的输出,并将优化后的结果作为最终推荐结果返回给用户。
在本文中,使用了预训练好的ChatGPT模型,并通过设计一组提示语来将推荐任务转化为自然语言任务,并测试了其在zero-shot和few-shot上的推荐能力。具体来说,设计了五个不同的推荐场景,包括评分预测、顺序推荐、直接推荐、解释生成和评论总结。
在评分预测任务中,要求ChatGPT根据用户的历史评分和商品信息预测用户对新商品的评分。下图展示了相应的prompt。黑色字体表示任务描述,红色字体表示格式要求,蓝色字体表示用户历史信息或few-shot信息,灰色字体表示输出结果,下同。
在序列推荐任务中,要求ChatGPT根据用户的历史行为和商品信息生成一个商品序列,以便向用户推荐相关商品。下图展示了相应的prompt。
在直接推荐任务中,要求ChatGPT根据用户的历史行为和商品信息直接向用户推荐相关商品。下图展示了相应的prompt。
在解释生成任务中,要求ChatGPT根据给定的评分或行为生成一段自然语言解释。下图展示了相应的prompt。
在评论总结任务中,要求ChatGPT根据给定的评论生成一段自然语言总结。下图展示了相应的prompt。
为了评估ChatGPT在各种推荐场景下的性能,使用了Amazon电子商务数据集。其中,zero-shot表示直接对ChatGPT进行测试,而few-shot则表示对ChatGPT注入用户历史交互来微调ChatGPT然后进行测试。实验结果表明,在所有五个场景下,ChatGPT都表现出差不多的推荐能力。特别地,在序列推荐任务中,ChatGPT相比于传统方法有着更好的性能。
总之,本文通过实验的方式探究了ChatGPT的通用推荐能力,它可以处理各种推荐任务,并且具有较好的泛化能力,但有待进一步提升。通过大规模语料库学习到的丰富知识可以有效地应用于推荐任务中。未来,将继续探索如何进一步提高ChatGPT在推荐任务中的性能,并将其应用于更多的领域中,以满足不同领域的推荐需求。
更多技术细节请阅读原始论文。