基本概念

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

就好比一个坡，梯度就是坡陡峭的程度。

梯度下降：有时我们也将梯度的模称为梯度,  大白话讲就是梯度是朝着函数上升的方向去找最大值,  而我们的目标是要去找最小值, 所以我们要朝着函数下降的方向去找, 所以这就是我们要做的梯度下降。