然后上一节我们说了L1,L2正则是为了提高,模型的泛化能力,
提高泛化能力,实际上就是把模型的公式的w,权重值,变小对吧.
然后我们这里首先看第一个L1正则,是怎么做到把w权重变小的
可以看到最上面是线性回归的损失函数,然后
L1可以看到,这个正则,就是在损失函数的基础上给损失函数,添加了一个带有绝对值的||所有的w的和对,不过这里,又有一个阿尔法对吧.
这个阿尔法是用来调节,这个泛化能力强弱的,其实就是用来调节|w|,w权重的绝对值之和,这L1正则的,所占的比重对吧.
我们知道如果不添加正则化,那么出现过拟合的话,会是2这种图,可以看到,有很多地方的拐点,比较陡峭,我们知道w指的是斜率,那么曲线,曲里拐弯,说明斜率大对吧,其实就是w大,那么我们要做的就是
用L1,或者L2来降低w,把这个曲线,2这个曲线捋直,成3这个曲线对吧,让模型,不再死板,可以举一反三.
然后我们来看这个线性回归函数,我们可以看到之前的损失函数是上面的
按行中间是L1,可以看到新的这个套索回归,其实就是原来的线性回归函数,+一个L1正则
对吧 L1中的这个1表示范数,其实就是指的 这个函数是一次的,这个L1正则是一次幂对吧
