一、最小二乘法
损失函数矩阵形式：
令导数loss'=0 ，可解得：
API :
sklearn.linear_model.LinearRegression()
功能： 普通最小二乘法线性回归, 权重和偏置是直接算出来的，对于数量大的不适用，因为计算量太大，计算量太大的适合使用递度下降法参数：
fit_intercept bool, default=True是否计算此模型的截距(偏置)。如果设置为False，则在计算中将不使用截距（即，数据应中心化）。
属性:
coef_ 回归后的权重系数
intercept_ 偏置print("权重系数为：\n", estimator.coef_) #权重系数与特征数一定是同样的个数。
print("偏置为：\n", estimator.intercept_)二、梯度下降法
正规方程是一种用于求解线性回归模型参数的方法，它通过直接求解使误差平方和最小化的参数值来拟合数据。以下是其优缺点：
- 优点
- 无需迭代：与梯度下降等迭代算法不同，正规方程通过直接计算解析解来求解模型参数。它不需要设置学习率、迭代次数等超参数，也不需要多次迭代逼近最优解，从而节省了计算时间和资源，尤其对于小规模数据集，能够快速得到精确的最优解。
- 全局最优解：正规方程得到的解是基于最小二乘法的全局最优解。只要数据满足一定的条件（如设计矩阵满秩），就能保证得到的参数估计值是使损失函数（误差平方和）最小化的唯一解，不存在陷入局部最优的问题，这在理论上保证了模型的最优性。
- 数学原理清晰：正规方程的推导基于明确的数学原理，即最小化误差平方和。通过对损失函数求导并令导数为零，得到关于参数的线性方程组，然后求解该方程组得到参数估计值。这种数学原理清晰明了，易于理解和推导，有助于深入理解线性回归模型的本质和求解过程。
- 缺点
- 计算复杂度高：正规方程的计算涉及到矩阵的求逆运算，当特征数量较大时（例如），计算矩阵的逆的计算量非常大，时间复杂度为，并且对内存的要求也很高。这使得在处理大规模数据或高维特征数据时，计算成本高昂，甚至可能导致计算无法进行。
- 对数据条件要求严格：正规方程要求设计矩阵的列向量线性无关，即是满秩矩阵。如果数据中存在多重共线性问题，即某些特征之间存在线性相关关系，那么就不是满秩的，此时矩阵不可逆，无法直接使用正规方程求解。即使接近奇异（行列式接近零），也会导致计算不稳定，参数估计值的误差较大。
- 缺乏灵活性：正规方程只能用于线性回归模型，并且要求损失函数是平方损失。对于其他类型的模型（如逻辑回归、非线性回归等）或非平方损失函数，正规方程的方法不再适用。相比之下，梯度下降等方法可以通过适当的调整和扩展应用于各种不同的模型和损失函数，具有更强的通用性和灵活性。
原理：
- 梯度下降的核心思想是基于函数的梯度信息来寻找函数的最小值。对于一个多元函数，其中是函数的参数向量，梯度表示函数在处变化最快的方向。梯度下降算法通过不断沿着梯度的反方向更新参数，来逐步降低函数的值，直到达到一个局部最小值或全局最小值。
步骤：
1、Random随机数生成初始W，随机生成一组成正太分布的数值,这个随机是成正太分布的
2、求梯度g，梯度代表曲线某点上的切线的斜率，沿着切线往下就相当于沿着坡度最陡峭的方向下降.
3、if g < 0,w变大，if g >0,w变小(目标左边是斜率为负右边为正 )
4、判断是否收敛，如果收敛跳出迭代，如果没有达到收敛，回第2步再次执行2~4步收敛的判断标准是:随着迭代进行查看损失函数Loss的值，变化非常微小甚至不再改变，即认为达到收敛
5.上面第4步也可以固定迭代次数
公式：
学习率：
作用
- 控制参数更新的速度。较大的学习率会使参数更新步伐较大，可能加快模型训练速度，但也可能导致模型无法收敛，甚至使损失函数值上升；较小的学习率能保证算法的稳定性，使模型逐渐收敛到较优解，但训练时间可能会很长。
选择方法
- 经验值：对于一些常见的模型和数据集，有一些经验性的学习率可供参考。例如，在神经网络中，初始学习率通常设置为 0.1、0.01 或 0.001 等。但这些值并非适用于所有情况，需要根据具体问题进行调整。
- 网格搜索：通过在一定范围内设置多个不同的学习率值，然后分别用这些学习率训练模型，比较模型在验证集上的性能表现，选择使性能最优的学习率作为最终的学习率。
- 学习率调整策略：
- 固定学习率：在整个训练过程中，学习率保持不变。这种方法简单，但可能无法适应不同训练阶段的需求。
- 动态调整学习率：根据训练过程中的某些指标或条件来调整学习率。常见的策略有指数衰减、步长衰减、自适应学习率等。例如，指数衰减会按照一定的指数规律逐渐降低学习率；步长衰减是每隔一定的训练步数或轮数，将学习率乘以一个小于 1 的因子；自适应学习率算法（如 Adagrad、Adadelta、RMSProp、Adam 等）会根据每个参数的梯度历史信息来自动调整学习率，使得不同参数可以有不同的学习率，从而更灵活地适应模型的训练。
影响
- 对收敛速度的影响：合适的学习率能使模型在较少的迭代次数内收敛到较优解。学习率过大，模型可能会在最优解附近来回振荡甚至发散，无法收敛；学习率过小，模型收敛速度过慢，浪费大量计算资源和时间。
- 对模型性能的影响：如果学习率选择不当，可能导致模型无法达到最优性能。过大的学习率可能使模型错过最优解，得到一个较差的局部最小值；过小的学习率可能使模型陷入局部最小值，无法跳出到更好的解。
选择合适的学习率对于模型的训练和性能至关重要，需要通过不断的实验和调整来找到最适合具体问题的学习率。
