Dropout layer

 

 

        Dropout层的作用是在神经网络中引入正则化，以防止过拟合。它通过随机丢弃一部分神经元（如图2）的输出来减少模型对训练数据的依赖性。这样可以提高模型的泛化能力，使其在测试数据上表现更好。

        Dropout层的核心思想是减小神经网络中权重共享的情况，让不同的神经元可以承担不同的特征提取任务。由于每个神经元被丢弃的概率相同，因此每一轮训练都可能得到不同的网络结构，这有助于提高模型的泛化能力。同时，Dropout也有助于减少神经元之间的依赖性，增强模型的鲁棒性。

工作原理

• 在训练阶段，对于每一层神经元，以一定的概率p随机选择一部分神经元，将它们的输出置为0。这样，每一层的神经元有p的概率被保留，也有p的概率被丢弃。
• 在前向传播过程中，每一层神经元的输入会经过Dropout处理，保留概率p的神经元进行计算。
• 在反向传播过程中，梯度会根据未被丢弃的神经元的权重进行传播。这意味着在更新权重时，被丢弃的神经元的权重不会被更新。
• 在测试阶段，为了使用训练阶段得到的网络集合，每个神经元的输出需要乘以概率p。这样做的目的是为了在测试时模拟出与训练阶段相同的网络结构。

keras.layers.Dropout(rate, noise_shape=None, seed=None, **kwargs)

参数说明

•  rate：在0和1之间浮动。要丢弃的输入单位的分数。
• noise_shape：表示将与输入相乘的二进制丢弃掩码的形状的1D整数张量。例如，如果输入具有形状（batch_size，时间步长，features），并且希望所有时间步长的丢弃掩码相同，则可以使用noise_shape=（batch_size，1，features.）。
• seed：用作随机种子的Python整数。

示例 

# 导入所需的库
from keras.models import Sequential
from keras.layers import Dense, Dropout# 创建一个Sequential模型
model = Sequential()#添加全连接层（Dense）
model.add(Dense(units=64, activation='relu', input_dim=100))#在全连接层之后添加一个Dropout层，丢弃率为0.5
model.add(Dropout(rate=0.5))#添加全连接层
model.add(Dense(units=10, activation='softmax'))#编译模型，设置损失函数、优化器和评估指标
model.compile(loss='categorical_crossentropy',optimizer='adam',metrics=['accuracy'])