问题预览

1. 梯度下降算法的作用是？
2. 梯度下降的过程？
3. 梯度下降和最小化成本函数的联系？
4. 所有的成本函数都是一个形状吗？
5. 在非凸形状中，梯度下降的更新过程是？
6. 在非凸形状中，不同的初值对最小化成本函数的影响是？
7. 什么是局部最小值？

笔记

1.梯度下降算法的作用

梯度下降算法可以计算大多数函数的最小值。

2.梯度下降的过程

先给w，b设置初始值，一般为0，梯度下降算法不断更新w，b，如果有多个w，则不断更新每个w，直至成本函数接近或达到最小值。

3.梯度下降最小化成本函数

由图可知，梯度下降是在不断计算并更新w，b，而成本函数的值是通过w，b才能计算的。由此可以将梯度下降和最小化成本函数结合观察。

4.不同成本函数的形状

不同的成本函数形状也不同，例如神经网络模型可能用到的某个成本函数，呈现多曲面非凸状。

5.梯度下降的更新过程

梯度下降算法不断更新成本函数的值，每次更新都尽量让成本函数的值下降的最快，直至局部或全局最低点。

6.不同的w，b对梯度下降的影响

在非凸形状中，w，b的初始值不同，梯度下降的起点也不同，最终计算的成本函数最小值也不同。

7.局部最小值

如上图示例，不同的w，b起始位置，会计算出不同的成本函数最小值，两个不同的最小值被称为局部最小值。

总结

梯度下降算法的作用是为了最小化函数。我们需要成本函数的最小值，借此得到最优的w，b，因此我们使用梯度下降算法去最小化成本函数。梯度下降在计算线性回归的成本函数时，不断更新w，b，尽量让成本函数最快达到最小值。线性回归的平方误差成本函数只有一个最小值，而在神经网络模型中使用的某些成本函数可能会在3d空间中呈现出多个局部最小值，这取决于成本函数的具体形状。