1、增加数据集
2、正则化(Regularization)
正则化:得到一个更加简单的模型的方法。
以一个多项式为例:
随着最高次的增加,会得到一个更加复杂模型,模型越复杂就会更好的拟合输入数据的模型(图-1),拟合的程度越大,表现在参数上的现象就是高次的系数趋近于0,如果直接将趋近于0的高次去掉,就可以得到一个更加简单的模型,这种方法称为正则化。
直观的看,经过正则化的模型更加平滑(图-2).
正则化的方法:
(1)L1-正则化:在原来的模型基础上加上一个 1-范数(这里使用二分类模型作为示例):
(2)L2-正则化:在原来的模型基础上加上一个 2-范数(这里使用二分类模型作为示例):
代码示例:
# L2-正则化
device = torch.device('cuda:0')
net = MLP.to(device)
optimizer = optim.SGD(net.parameters,lr = learning_rate,weight_decay=0.01) #weight_decay=0.01就代表进行L2-正则化
criteoon = nn.CrossEntropyLoss().to(device)
# L1-正则化
# 对于L1-正则化,pytorch并没有提供直接的方法,就只能使用人工去做了
regularization_loss = 0
for param in model.parameters(): # 相求1-范数的总和regularization_loss += torch.sum(torch.abs(param))classify_loss = criteon(logits,target)
loss = classify_loss + 0.01*regularization_loss # 再将得到的正则损失加入模型损失,其中0.01是1-范数总和前面的系数optimizer.zero_grad()
loss.backward()
optimizer.step()
3、加入动量(momentum)
动量即惯性——本次向哪移动,还需要考虑上一次移动的方向。
正常更新梯度的公式(公式-1):
加入动量之后的公式(公式-2):
将z(k+1)带入梯度更新公式,即公式-1减去,其中Z(k)相当于上一次的梯度,系数和β的大小决定了是当前梯度对方向的决定性大,还是上一梯度对方向的决定性大。
当动量为0时的梯度更新情况(图-3):
动量不为0时的梯度更新情况(图-4):
将图-3和图-4对比,可以得出动量不为0,即考虑上一梯度,梯度更新更加稳定,不会出现巨大的跳跃情况,并且不加动量的没有找到最小点,一直在局部最小值点徘徊,如果加入动量,考虑到上一梯度,可以在一定程度上解决这种情况(图-4是加入动量之后最好的情况)。
代码演示,直接在优化器部分使用momentum属性就可以了,但是如果使用Adam优化器,就不需要添加,因为在Adam优化器内部定义的有momentum属性:
4、学习率(Learning Rate )
不同学习率梯度更新情况(图-5):
当学习率太小的时候,梯度更新比较慢,需要较多次的更新。
当学习率太大的时候,梯度更新比较激烈,找到的极值点Loss太大。
如何找到正确的的学习率?
在训练之初,可以先设置一个较大的学习率加快更新的速度,然后逐步减小学习率,即设置一个动态学习率。
从图-6,可以看到有一个突然下降的点,这个点就是学习率训练一些数据之后,学习率突然变小导致的结果。在此之前可以看到Loss趋于不变,可以合理的猜测是因为学习率太大了,出现了来回摇摆不定的情况(图-7):
当学习率突然减小,梯度更新变慢,易找到极小点(图-8):
代码演示:
5、dropout
dropout:减少神经元之间的连接,减少模型的学习量。标准的神经网络是全连接的,相比经过dropout的神经网络减少了一些连接(图-9)。
代码演示,可以使用Dropout方法断开连接,0.5代表断开两层之间的50% :
这种方法被用在模型训练中,但当模型测试过程中,为了提高test的表现,要结束这个操作,将所有的连接都使用上,可以使用net_dropped.eval()方法结束这个操作,代码演示如下:
6、随机梯度下降 (Strochastic Gradient Descent )
这里的随机并不是指任意,这里面是有一套规则的,是一套映射的关系,即将原来的数据x送入f(x)得到一种分布。经过随机从原数据中得到一组小数据,使用这一小组数据训练模型。
学习:课时60 Early stopping, dropout等_哔哩哔哩_bilibili