机器学习算法的电影推荐系统以及票房预测系统

一、实验概述

1. 实验目标

本项目希望基于电影数据集,依据电影的简介、关键词、预算、票房、用户评分等特征来对电影进行分析,并完成以下任务:

  • 对电影特征的可视化分析
  • 对电影票房的预测
  • 多功能个性化的电影推荐算法

2. 数据集

  • 针对票房预测部分,本项目使用了收集自 The Movie Database(TMDB)数据集的7398条电影信息, 包含了id、预算、电影主页、票房、语言、时长、评分、受欢迎度等特征,全部数据可见于Kaggle TMDB Box Office Prediction中。
  • 针对电影推荐部分,本项目使用了收集自 The Movie Database(TMDB)数据集的TMDB5000数据集以及收集自电影数据集MovieLens的部分数据,包含了id、预算、内容简介、关键词等特征,并且包含了用户对电影的评分矩阵,全部数据可见于LJSthu(github)中。

3. 实验完成情况

  • 完成了对电影特征的可视化分析。
  • 完成了基于电影特征的电影票房预测算法,并在Kaggle的TMDB Box Office Prediction比赛中最终取得了前 6.8%(95/1400)的成绩。
  • 完成了基于简单特征(内容、评分、关键词)的三种推荐算法、基于KNN的两种协同过滤算法、基于奇异值分解的推荐算法以及三种集成推荐算法,共设计并实现了九种电影推荐算法。

二、电影特征的可视化分析

本项目中,我首先对电影数据的一些特征进行了可视化分析,来为之后的票房预测和电影推荐做帮助。

  • 首先我分别绘制了票房与预算、欢迎程度(popularity)、戏剧性程度(theatrical)的关系图,如下图所示: 

     

  • 从图中可以看出,这三个特征与票房之间存在着比较强的相关关系,于是我选取了票房、预算、受欢迎程度、戏剧性、放映时间、id、上映年份7个特征,绘制了它们之间的相关关系图,如下图所示: 

  • 图中颜色越深代表相关关系越强,可以看出电影票房与预算、受欢迎程度、戏剧性三个特征有着很强的相关关系,而与上映时间、id等信息几乎没有相关关系,这也十分符合我们的预期。

  • 我还研究了电影语言与票房的关系,如下图所示: 

  • 最后我探究了电影预算与电影上映年份之间的关系,为了突出区别,我选取了1983、1984、1985、1991、2017五个年份的电影预算来进行密度估计,结果如图所示: 

  • 从图中可以看出上映年份对预算的分布影响比较大,较早的年份预算集中于比较低的部分,而越靠近现在,电影的预算分布相对越均匀,对应着越来越多的大制作电影,这里我认为上映年份这个特征对票房的影响主要是通过对预算的影响来体现的。

  • 备注:这部分代码参见上传项目

三、电影票房预测

1. Data Augmentation

  • 首先我对提供的数据进行了处理与清洗
  • 加入了一些额外的电影数据,包括电影上映日期、评分、受欢迎度等(全部使用的数据集参见项目代码)
  • 最终使用的特征包括了电影名称、发行公司、受欢迎程度、戏剧性程度、评分人数、评分、放映时长、预算等。
  • 对全部数据进行5折划分来进行5-折交叉验证。

2. 算法说明

  • 本次比赛中我主要使用了三种算法来进行预测,分别为catboost、XGBoost、LightGBM
  • 最终的结果为这三种算法的指数加权平均
2.1 XGBoost
  • 首先尝试了使用XGBoost算法来进行预测
  • 常用算法便不描述具体过程了
2.2 lightGBM
  • 在XGBoost的基础上,lightGBM使用了histogram算法,同时优化了对类别特征的支持,可以进行分布式训练,极大的提升了训练速度。相比于XGBoost, 在准确率相近的情况下,速度大大加快。
2.3 CatBoost
  • CatBoost中使用了梯度提升(Gradient Boost)与类别型特征(Categorical Features),基于梯度提升决策树。
  • 使用对称树结构来避免过拟合问题,并且用特殊的方式处理categorical features。
  • 算法的总流程伪代码如下所示(使用原论文中的伪代码) 

3. 实验结果

  • 最终我将三个模型的输出进行了指数加权,即最终的输出为:

  • 最终的排名为95/1400(top 7%) 

四、电影推荐算法

这里将分别介绍我实现的九种电影推荐算法。

1. 基于人口统计学的推荐

  • 这里我实现了一个基于评分的推荐算法,对每部电影计算评分如下:
  • 算法为用户推荐评分最高的10部电影。
结果示例:
title       									score
The Shawshank Redemption          				8.059258
Fight Club          							7.939256
The Dark Knight         						7.920020
Pulp Fiction          							7.904645
Inception         								7.863239
The Godfather          							7.851236
Interstellar         							7.809479
Forrest Gump         							7.803188
The Lord of the Rings: The Return of the King   7.727243
The Empire Strikes Back          				7.697884

2. 基于内容的推荐算法

  • 这里我实现了两种简单的推荐算法,相关代码参见代码
(1)基于电影简介文本的推荐算法
  • 首先将电影数据中的简介文本通过sklearn中的TfidfVectorizer,将简介文本变成向量,并使用cosine距离来度量向量之间的相似度。
  • 用户输入一个电影名字,算法推荐与之最相近的10部电影。
结果示例:
- 输入: The Dark Knight Rises
- 输出: The Dark Knight					Batman ForeverBatman ReturnsBatmanBatman: The Dark Knight Returns, Part 2Batman BeginsSlow BurnBatman v Superman: Dawn of JusticeJFKBatman & Robin
  • 从结果可以看出,推荐的电影内容与输入电影十分相近,符合算法设计的初衷。
(2)基于电影内容的推荐算法
  • 这里我利用了电影中的关键词、类型、导演、演员等信息
  • 首先使用sklearn中的CountVectorizer将文本转换为词频矩阵,之后利用cosine距离来度量电影之间的相似度,与(1)算法很类似。
  • 用户输入一个电影名字,算法推荐与之最相近的10部电影。
结果示例:
- 输入: The Dark Knight Rises
- 输出: The Dark KnightBatman BeginsAmidst the Devil's WingsThe PrestigeRomeo Is BleedingBlack NovemberTakersFasterCatwomanGangster Squad

3. 基于KNN的协同过滤算法

  • 这里我实现了两种基于KNN的协同过滤算法,代码可见
  • 这里我使用了MovieLen数据集中的用户对电影的评分矩阵
(1)针对电影相似度的推荐算法
  • 这里我将全部的用户对某一电影的评分作为该电影的特征向量,使用KNN算法,对于用户输入的电影,选出与之最相似的十部电影进行推荐
结果示例:
- 输入: Avengers: Infinity War - Part I (2018)
- 输出: Thor: Ragnarok (2017)Captain America: Civil War (2016)Deadpool 2 (2018)Doctor Strange (2016)Guardians of the Galaxy 2 (2017)Iron Man (2008)Untitled Spider-Man Reboot (2017)Avengers, The (2012)Inception (2010)Logan (2017)
  • 可以看到,输入的电影为《复仇者联盟三》,推荐的十部电影中有九部为漫威出品的超级英雄电影,另外一部也是科幻大片,可见这种衡量电影之间相似性的方法是十分有效的。
(2)针对用户相似度的推荐算法
  • 之前的推荐算法大多基于电影之间的相似度来进行推荐,但对于不同的用户,推荐的结果并没有任何不同,没有实现对于不同用户的个性化推荐,当前的算法就是为了解决这样的问题。
  • 这里我将一个用户对于全部电影的评分作为该用户的特征向量,使用KNN算法,对于输入的用户ID
    • 首先选出10个与当前用户最相似的10个用户
    • 之后选出这10个最相似用户看过的且当前用户没有看过的电影
    • 最后在这些电影中选择出 平均评分最高的十部,推荐给用户
结果示例:
- 输入:用户id=2
- 输出: Forrest Gump (1994)Pulp Fiction (1994)Silence of the Lambs, The (1991)Matrix, The (1999)Donnie Darko (2001)- 输入:用户id=6
- 输出: Beverly Hills Cop III (1994)Demolition Man (1993)Quiz Show (1994)Drop Zone (1994)Home Alone (1990)
  • 可以看到对于不同的用户,得到的推荐结果是互不相同的,做到了对用户个性化的推荐。
  • 测试结果
    • 我将用户评分矩阵的85%用来训练,15%用作测试,具体划分方法为:对每个用户对每个电影的评分,生成一个随机数,若大于0.85,则为测试;小于等于0.85,则为训练
    • 使用本方法对每个用户推荐了10部电影,总共推荐了6040部电影,其中出现在测试集中的电影数目为878部,占14.54%

4. 基于奇异值分解的推荐算法

  • 这里我实现了基于SVD分解的推荐算法,通过对用户-电影评分矩阵进行SVD分解,对用户未评分的电影预测评分。
  • 这里我主要希望将这个算法作为一个二级筛选方法,即对于输入的用户id与一系列电影id,去预测出当前用户对于这一系列电影的评分,从中挑选出评分最高的10部进行推荐。
  • 由于用户-电影评分矩阵是维度很高的系数矩阵,于是我使用了不同的算法来进行分解,包含了
    • 随机梯度下降算法(SGD)
    • 朗之万动态系统随机梯度方法(SGLD)
    • 随机梯度哈密顿蒙特卡洛方法(SGHMC)
  • 其中SGD为基于优化的方法,而SGLD与SGHMC为基于采样的贝叶斯概率矩阵分解算法。我在movielen数据集的mk-1m中进行了5-折交叉验证,最后的结果如图所示: 

  • 从图中可以看出,SGHMC算法的RMSE loss最低,达到了0.84117,是一种比较好的优化方法,得到的模型也具有比较好的推荐效果。

5. 集成推荐算法

  • 上述的推荐算法均为针对某一个方面进行推荐,并且没有实现对特定用户输入的特定电影进行推荐,这里我将上面的算法组合起来,实现了三种集成推荐算法,可以进行更加个性化的推荐。
5.1 KNN+文本的集成推荐
  • 我首先使用KNN算法对输入的当前用户ID,查找与之最邻近的10位用户,将这些相似用户看过的电影并且当前用户没有看过的电影作为候选电影。
  • 之后将用户输入的文本转换为向量,将候选电影的文本信息(简介、名称、导演等)编码为向量。
  • 最后依据提取的候选电影向量与输入文本向量之间的cosine距离来为用户推荐距离最近的前10部电影。
5.2 用户KNN+电影KNN
  • 我首先使用KNN算法对输入的当前用户ID,查找与之最邻近的10位用户,将这些相似用户看过的电影并且当前用户没有看过的电影作为候选电影。
  • 之后对于电影数据进行KNN处理,挑选出与用户输入电影最邻近的10部电影进行推荐
5.3 用户KNN+奇异值分解
  • 我首先使用KNN算法对输入的当前用户ID,查找与之最邻近的10位用户,将这些相似用户看过的电影并且当前用户没有看过的电影作为候选电影。
  • 之后利用矩阵分解,模拟当前用户对候选电影的评分,选择评分最高的十部电影进行推荐。
  • 测试结果
    • 这里采用了与3.2中相同的测试方法进行测试
    • 对每个用户推荐了10部电影,总共推荐了6040部电影,其中出现在测试集中的电影数目为602部,占9.97%,效果不如只使用用户KNN的算法
  • 分析原因
    • 用户、电影评分矩阵中包含了对于每部电影的评分,评分有高有低,即使是用户看过的电影也会有评分很低的,在本方法中会将这样的电影排除掉,为用户推荐的是模拟评分后分数高的电影
    • 测试中没有涉及到这个问题,因此带来了结果的差异

五、总结

  • 本项目从收集数据集、分析用户需求,到论文的查阅、算法的实现,最后到推荐系统的构建,一步步地完成了一个小型(微型)机器学习系统的搭建,将课上的知识学以致用,增强了从较大的方面分析问题的能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/355868.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

湖南科技大学24计算机考研情况,软工学硕考数二,分数线290分,录取均分321分!

湖南科技大学(Hunan University of Science and Technology)坐落在伟人故里、人文圣地湘潭,处于长株潭核心区域,比邻湘潭九华经济技术开发区(国家级),是应急管理部、国家国防科技工业局与湖南省…

自监督分类网络:创新的端到端学习方法

现代人工智能的快速发展中,分类任务的高效解决方案一直备受关注。今天,我们向大家介绍一种名为Self-Classifier的全新自监督端到端分类学习方法。由Elad Amrani、Leonid Karlinsky和Alex Bronstein团队开发,Self-Classifier通过优化同一样本的…

探索C嘎嘎的奇妙世界:第十六关---STL(vector的练习)

1.只出现一次的数字 我们可以使用异或运算来解决这个问题: 异或运算有一个重要的性质:两个相同的数进行异或运算结果为 0,任何数与 0 异或结果为其本身。对于数组中的元素,依次进行异或运算,出现两次的元素异…

智谱API调用

一、智谱API 文心一言api 千帆大模型平台 申请和使用 智谱AI开放平台 登录智谱AI开放平台,点击右上角的开发者工作台,然后查看自己的API glm-4 接口 conda create -n zhipuai python3.10 -y 二、如何使用 这边的介绍是根据官方文档的接口文档来进行介绍…

postman 工具下载安装使用教程_postman安装

本文讲解的是postman工具下载、Postman安装步骤、postman下载、postman安装教程。Postman是一款流行的API测试工具,它提供了一个用户友好的界面,用于发送和测试API请求,并且可以轻松地按需管理和组织请求。 这使得开发人员和测试人员能够更高…

MATLAB神经网络---lstmLayer(LSTM 长短期记忆神经网络)

前言 描述LSTM就要先描述一下循环神经网络 循环神经网络 循环神经网络通过使用带自反馈的神经元,使得网络的输出不仅和当前的输入有关,还和上一时刻的输出相关,于是在处理任意长度的时序数据时,就具有短期记忆能力。 如下是一个…

《沃趣 分手后霸道少爷宠爆我》盛大开机典礼

南京五聚文化传媒有限公司自豪地宣布,引人入胜的2024年度短剧巨作——《沃趣 分手后霸道少爷宠爆我》——今日正式开拍!在星辰下的华丽舞台上,我们汇集了业界的精英力量,准备讲述一个关于爱、错位与重生的故事。 典礼精彩亮点 1.…

AttributeError: ‘ImageDraw‘ object has no attribute ‘textsize‘

python项目生成词云图的时候报错:AttributeError: ‘ImageDraw’ object has no attribute ‘textsize’ 解决办法 出现这个问题,可能是因为Pillow版本过高导致的,我们可以尝试通过降低Pillow的版本来解决它。 我通过将Pillow版本降低到9.4.…

微信小程序接入lottie动画

1、注意:canvas渲染出来的层级太高,当有弹窗的情况会暴露在弹窗外 模拟器上会有这个问题,线上版本不会有 2、需求 需要把lottie动画在小程序的环境下进行展示 3、什么是lottie动画 由Airbnb开发并开源。允许设计师将复杂的矢量动画导出为…

【单片机毕业设计选题24019】-基于STM32的安防监测灭火系统

系统功能: 1. 水泵喷水灭火功能:当火焰传感器监测到火焰时,蜂鸣器报警,水泵工作实现灭火。 2. 风扇功能:当烟雾传感器检测到CO或温度传感器检测到温度超过阈值时,蜂鸣器报警, 启动风扇进行驱散烟雾或降温…

Springboot + Mybatis 实现sql打印

参照这个视频:https://www.bilibili.com/video/BV1MS411N7mn/?vd_source90ebeef3261cec486646b6583e9f45f5 实现mybatis对外暴露的接口Interceptor 使用Intercepts接口,这里的写法参照mybatis-plus中的拦截器写法 Intercepts({Signature(type Executor.class, m…

MDK-ARM 编译后 MAP 文件分析

本文配合 STM32 堆栈空间分布 食用更佳! 一图胜千言。。。

Java中setLineWrap(true)和setWrapStyleWord(true)优化TextArea

在 Java Swing 开发中,JTextArea 是一个多行的文本区域组件,常用于显示和编辑大量文本。当处理长文本时,默认行为是不换行并且出现水平滚动条,这通常会降低用户体验。幸运的是,JTextArea 提供了两个非常有用的方法&…

哈喽GPT-4o——对GPT-4o 提示词的思考与看法

目录 一、提示词二、常用的提示词案例1、写作助理2、改写为小红书风格3、英语翻译和改写4、论文式回答5、主题解构6、提问助手7、Nature风格润色8、结构总结9、编程助手10、充当终端/解释器 大家好,我是哪吒。 最近,ChatGPT在网络上广受欢迎&#xff0c…

【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 5G基站光纤连接问题(200分) - 三语言AC题解(Python/Java/Cpp)

🍭 大家好这里是清隆学长 ,一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-C/D卷的三语言AC题解 💻 ACM银牌🥈| 多次AK大厂笔试 | 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 &#x1f…

刘亦菲新剧玫瑰的故事

刘亦菲新剧《玫瑰的故事》:开放结局,无限遐想 当刘亦菲再次踏入荧屏,与导演汪俊携手打造的《玫瑰的故事》便引发了无数观众的期待与关注。这部剧不仅汇聚了众多实力派演员,更以其独特的剧情和精致的制作成为了近期热门的话题。《…

Python中文自然语言处理(NLP)中文分词工具库之pkuseg使用详解

概要 在中文自然语言处理(NLP)中,分词是一个基础且关键的任务。pkuseg 是由北京大学开发的一个中文分词工具,专为处理现代汉语而设计。它采用了先进的深度学习技术,能够准确地进行中文分词,同时支持自定义词典和多领域分词。本文将详细介绍 pkuseg 库,包括其安装方法、…

[【机器学习】深度概率模型(DPM)原理和文本分类实践

1.引言 1.1.DPM模型简介 深度概率模型(Deep Probabilistic Models) 是结合了深度学习和概率论的一类模型。这类模型通过使用深度学习架构(如神经网络)来构建复杂的概率分布,从而能够处理不确定性并进行预测。深度概率…

机器学习第四十四周周报 SAMformer

文章目录 week44 SAMformer摘要Abstract1. 题目2. Abstract3. 网络架构3.1 问题提出3.2 微型示例3.3 SAMformer 4. 文献解读4.1 Introduction4.2 创新点4.3 实验过程 5. 结论6.代码复现小结参考文献 week44 SAMformer 摘要 本周阅读了题为SAMformer: Unlocking the Potential…

解决IDEA使用卡顿的问题,设置JVM内存大小和清理缓存

解决IntelliJ IDEA中卡顿问题,可以尝试以下几个常见且有效的步骤: 1 增加IDEA的JVM内存分配: 位于IDEA安装目录的bin文件夹下,找到对应的操作系统配置文件(idea64.exe.vmoptions(Windows)或id…