1. 梯度下降法

1.1 一元线性回归

定义一元线性方程
$$y=\omega x+b$$
则误差（残差）平方和
$$C(\omega ,b)=\sum _{i=1}^n(\widehat{y_i}-y_i{)}^2$$
即
$$C(\omega ,b)=\sum _{i=1}^n(\omega x_i+b-y_i{)}^2$$
为方便计算，常写为如下形式
$$C(\omega ,b)=\frac{1}{2n}\sum _{i=1}^n(\omega x_i+b-y_i{)}^2$$
其中，$y_i$为真实值，$\widehat{y_i}$为预测值。
若用一元线性方程拟合上面的数据集，那么最佳的拟合直线方程需满足$C(\omega ,b)$最小，即使得真实值到直线竖直距离的平方和最小。因此需要求解使得$C(\omega ,b)$最小的参数$\omega$和$b$，即$$\underset{\omega ,b}{\min }C(\omega ,b)$$
梯度下降公式
$$\omega :=\omega -\alpha \frac{\partial C(\omega ,b)}{\partial \omega }=\omega -\alpha \frac{1}{n}\sum _{i=1}^n(\omega x_i+b-y_i{)}^2{x}_i$$
$$b:=b-\alpha \frac{\partial C(\omega ,b)}{\partial b}=b-\alpha \frac{1}{n}\sum _{i=1}^n(\omega x_i+b-y_i{)}^2$$
其中$\alpha$为步长（学习率），$:=$表示赋值操作。
梯度下降基本步骤

1. 初始化$\omega$和$b$（常取0）
2. 不断改变$\omega$和$b$，直到$C(\omega ,b)$到达一个全局最小值，或局部极小值。

下图使用梯度下降能到达局部最小值

下图使用梯度下降能到达全局最小值

---

下图中，将$\theta 1$看成$\omega$，$J(\theta 1)$看成$C(\omega ,b)$。则

• 在第一个点处，$\frac{\partial C(\omega ,b)}{\partial \omega }$小于0，根据梯度下降公式，此时$\omega$的值会增大，即往代价函数最小值的方向靠近。
• 在第三个点处，$\frac{\partial C(\omega ,b)}{\partial \omega }$大于0，根据梯度下降公式，此时$\omega$的值会减小，即往代价函数最小值的方向靠近。
  

1.2 多元线性回归

定义多元线性方程
$$y={\omega }_1{x}_1+{\omega }_2{x}_2+...+{\omega }_n{x}_n+b$$
误差平方和
$$C({\omega }_1,...,{\omega }_n,b)=\frac{1}{2n}\sum _{i=1}^n(\hat{y}(x^i)-y^i{)}^2$$
注：$\hat{y}(x^i)$为预测值，$y^i$为真实值，这里的$x^i$表示的是第$i$个数据（包含多列属性）。

由1.1可得
$$b:=b-\alpha \frac{1}{n}\sum _{i=1}^n(\hat{y}(x^i)-y^i{)}^2{x}_0^i$$
这里$x_0^i=1$，以实现格式统一。
$${\omega }_1:={\omega }_1-\alpha \frac{1}{n}\sum _{i=1}^n(\hat{y}(x^i)-y^i{)}^2{x}_1^i$$
$${\omega }_2:={\omega }_2-\alpha \frac{1}{n}\sum _{i=1}^n(\hat{y}(x^i)-y^i{)}^2{x}_2^i$$
$$...$$
$${\omega }_n:={\omega }_n-\alpha \frac{1}{n}\sum _{i=1}^n(\hat{y}(x^i)-y^i{)}^2{x}_n^i$$
改写为矢量版本
$$y={\omega }^{T}x$$
$$\omega :=\omega -\alpha \frac{1}{n}{X}^T(\hat{y}(x)-y)$$
其中，$\omega$和$x$（某行数据）均为列向量，实际应用。

1.3 标准方程法

调用sklearn实现一元线性回归与多元线性回归的梯度下降时，sklearn内部的实现并没有使用梯度下降法，而是使用标准方程法。
公式推导（利用最小二乘法）¹²

上述公式推导使用到的矩阵求导公式

由推导的公式可知，需要满足的条件是$(X^{T}X{)}^{-1}$存在。在机器学习中，$(X^{T}X{)}^{-1}$不可逆的原因通常有两种，一种是自变量间存在高度多重共线性，例如两个变量之间成正比（例如：x1 为房子的面积，单位是平方英尺；x2为房子的面积，单位是平方米；而1
平方英尺=0.0929 平方米），那么在计算$(X^{T}X{)}^{-1}$时，可能得不到结果或者结果无效；另一种则是当特征变量过多（样本数 m $\le$特征数量 n）的时候也会导致$(X^{T}X{)}^{-1}$不可逆。$(X^{T}X{)}^{-1}$不可逆的情况很少发生，如果有这种情况，其解决问题的方法之一便是使用正则化以及岭回归等来求最小二乘法。

---

单变量情况下利用最小二乘法求解最佳参数

1.4 梯度下降法与标准方程法的优缺点

梯度下降法
优点

• 当特征值非常多的时候也可以很好的工作

缺点

• 需要选择合适的学习率
• 需要迭代多个周期
• 只能得到最优解的近似值

标准方程法
优点

• 不需要学习率不需要迭代可以得到全局最优解

缺点

• 需要计算$(X^{T}X{)}^{-1}$，时间复杂度大约是$O(n^3)$，n是特征数量

2. 相关系数与决定系数

常用相关系数来衡量两个变量间的相关性，相关系数越大，相关性越高，使用直线拟合样本点时效果就越好。

公式如下（两个变量的协方差除以标准差的乘积）
$$r(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var[X]Var[Y]}}$$
$$=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}\sqrt{{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}}$$
下图的样本点中，左图的相关系数为0.993，右图的相关系数为0.957，即左图的样本点变量间的相关性更高。

相关系数用于描述两个变量之间的线性关系，但决定系数$R^2$的适用范围更广，可以用于描述非线性或者有两个及两个以上自变量的相关关系，它可以用来评价模型的效果。
总平方和（SST）
$$\sum _{i=1}^n(y_i-\bar{y}{)}^2$$
回归平方和（SSR）
$$\sum _{i=1}^n(\hat{y}-\bar{y}{)}^2$$
残差平方和（SSE）
$$\sum _{i=1}^n(y_i-\hat{y}{)}^2$$
三者的关系
$$SST=SSR+SSE$$
决定系数
$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}=\frac{{\sum }_{i=1}^n(y_i-\hat{y}{)}^2}{{\sum }_{i=1}^n(y_i-\bar{y}{)}^2}$$

$R^2$的取值范围在0到1之间，值为0表示模型无法解释因变量的变化，值为1表示模型完全解释了因变量的变化。

---

1. 覃秉丰——标准方程法 ↩︎

2. 白板推导——最小二乘法及其几何意义 ↩︎