人工智能知识分享第四天-线性回归

线性回归

线性回归介绍

线性回归概念

线性回归(Linear regression)是利用 回归方程(函数) 对 一个或多个自变量(特征值)和因变量(目标值)之间 关系进行建模的一种分析方式。

注意事项：

1 为什么叫线性模型？因为求解的w，都是w的零次幂（常数项）所以叫成线性模型

2 在线性回归中，从数据中获取的规律其实就是学习权重系数w

3 某一个权重值w越大，说明这个权重的数据对房子价格影响越大

线性回归分类

一元线性回归

y = kx +b
目标值只与一个因变量有关系
多元线性回归

线性回归问题的求解

预测6号体重

已知数据:
在这里插入图片描述
需求:6号身高是176，请预测体重?

在这里插入图片描述

损失函数

需要设置一个评判标准
误差概念：用预测值y – 真实值y就是误差

损失函数：衡量每个样本预测值与真实值效果的函数

“红色直线能更好的拟合所有点”也就是误差最小，误差和最小

损失函数数学如何表达呢？又如何求损失函数的最小值呢？
在这里插入图片描述

当损失函数取最小值时，得到k就是最优解
在这里插入图片描述

想求一条直线更好的拟合所有点 y = kx + b

引入损失函数(衡量预测值和真实值效果) Loss(k, b)
通过一个优化方法，求损失函数最小值，得到K最优解
回归的损失函数：
均方误差 (Mean-Square Error, MSE)
平均绝对误差 (Mean Absolute Error , MAE)

多元线性回归的解析解-正规方程法

在这里插入图片描述

梯度下降算法

梯度下降算法思想

什么是梯度下降法

• 求解函数极值还有更通用的方法就是梯度下降法。顾名思义:沿着梯度下降的方向求解极小值 • 举个例子:坡度最陡下山法
在这里插入图片描述

输入:初始化位置S;每步距离为a 。输出:从位置S到达山底
步骤1:令初始化位置为山的任意位置S
步骤2:在当前位置环顾四周，如果四周都比S高返回S;否则执行步骤3
步骤3: 在当前位置环顾四周，寻找坡度最陡的方向，令其为x方向
步骤4:沿着x方向往下走，长度为a，到达新的位置S‘
步骤5:在S‘位置环顾四周，如果四周都比S‘高，则返回S‘。否则转到步骤3

小结:通过循环迭代的方法不断更新位置S (相当于不断更新权重参数w)
最终找到最优解这个方法可用来求损失函数最优解，比正规方程更通用

梯度下降过程就和下山场景类似
可微分的损失函数，代表着一座山
寻找的函数的最小值，也就是山底

在这里插入图片描述

正规方程和梯度下降算法的对比

在这里插入图片描述

回归评估方法

为什么要进行线性回归模型的评估

我们希望衡量预测值和真实值之间的差距，

会用到MAE、MSE、RMSE多种测评函数进行评价

平均绝对误差

Mean Absolute Error (MAE)
在这里插入图片描述

上面的公式中：n 为样本数量, y 为实际值, $\hat{y}$ 为预测值
MAE 越小模型预测约准确
Sklearn 中MAE的API

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test,y_predict)

均方误差

Mean Squared Error (MSE)
在这里插入图片描述

上面的公式中：n 为样本数量, y 为实际值, $\hat{y}$ 为预测值
MSE 越小模型预测约准确

Sklearn 中MSE的API

from sklearn.metrics import mean_squared_error
mean_squared_error(y_test,y_predict)

均方根误差

Root Mean Squared Error (RMSE)
在这里插入图片描述

上面的公式中：n 为样本数量, y 为实际值, $\hat{y}$ 为预测值
RMSE 越小模型预测约准确

三种指标的比较

我们绘制了一条直线 y = 2x +5 用来拟合 y = 2x + 5 + e. 这些数据点，其中e为噪声
在这里插入图片描述
从上图中我们发现 MAE 和 RMSE 非常接近，都表明模型的误差很低（MAE 或 RMSE 越小，误差越小！）。但是MAE 和 RMSE 有什么区别？为什么MAE较低？

对比MAE 和 RMSE的公式，RMSE的计算公式中有一个平方项，因此：大的误差将被平方，因此会增加 RMSE 的值
可以得出结论，RMSE 会放大预测误差较大的样本对结果的影响，而 MAE 只是给出了平均误差
由于 RMSE 对误差的 平方和求平均 再开根号，大多数情况下RMSE>MAE

举例 (1+3)/2 = 2 $\sqrt{(1^2+3^2)/2 }= \sqrt{10/2} = \sqrt{5} = 2.236$