SVD recommendation systems

为什么在推荐系统中使用SVD

一个好的推荐系统一定有小的RMSE
$$RMSE=\sqrt{\frac{1}{m}\sum _{i=1}^m(Y_i-f(x_i{)}^2}$$
希望模型能够在已知的ratings上有好的结果的同时，也希望在未知ratings上能够表现很好（比如用户还没有见过一部电影）。ratings的意思见：GLOCAL-K
假设有m个items，n个users，我们可以对rating matrix R进行近似，这里R有m行，n列
$$R\approx Q\cdot P^T$$
其中Q为mk，P^T为kn，这个可以理解为隐空间是k维。
这样我们就可以利用Q和P去预测R中的缺失值。
$${\hat{r}}_{xi}=q_i\cdot p_x^T=\sum _f{q}_{if}\cdot p_{xf}$$
SVD的介绍SVD
在这里
$$\begin{gathered} A=R, \\ Q=U, \\ {P}^T=\Sigma V^T \end{gathered}$$
我们知道SVD可以得到最小的重建损失（Sum of Squared Errors）:
$$\underset{U,V,\Sigma }{\min }\sum _{i,j\in A}(A_{ij}-[U\Sigma V^T{]}_{ij}{)}^2$$

• SSE和RMSE是相关的
  $$RMSE=\frac{1}{c}\sqrt{SSE}$$
  也就是说SVD也最小化RMSE
• 但是SVD是所有entrys的，目前R是有缺失值，所以做出改变。
  目标函数：
  $$mi{n}_{P，Q}\sum _{(i,x)\in R}(r_{xi}-q_i\cdot p_x^T{)}^2$$
  防止过拟合，需要正则化
  $$mi{n}_{P，Q}\sum _{(i,x)\in R}(r_{xi}-q_i\cdot p_x^T{)}^2+\lambda [\sum _x||p_x|{|}^2+\sum _i||q_i|{|}^2]$$

增加偏执的SVD

每个人都有自己的打分准则，有的人打分就很高，有的人打分偏低，同样的像一些经典电影就会有很高的评分，所以需要增加偏置来解决这个问题。
$${\hat{r}}_{ui}=\mu +b_i+b_u+p_u\cdot q_i^T$$
其中，$\mu$表示全局均值，bu表示用户偏见，bi表示物品偏见。
如果一个用户比网站全局评分小0.5分，那么bu=-0.5，u=3.5，泰坦尼克号的平均分比全局平均分要高1分bi=1.

SVD++

最特别的是加了隐式反馈，不仅考虑评分值，还考虑用户对哪些电影进行了评分，1表示评分，0表示未评分
$${\hat{r}}_{ui}=\mu +b_i+b_u+（p_u+|N(u){|}^{-0.5}\sum _{i\in N(u)}{y}_i）\cdot q_i^T$$
其中$|N(u)|$表示行为物品集，y_j表示物品j所表达的隐式反馈。

timeSVD++

增加了时间的考虑，因为对电影的喜爱会根据时间变化，同时一个电影也会随着时间变化，变得更受欢迎或不受欢迎。