LeNet
假设你有一张 32×32×1 的图片,然后使用 6 个 5×5的过滤器,步幅为 1,padding 为 0,输出结果为 28×28×6。图像尺寸从 32×32 缩小到 28×28。
然后进行池化操作,使用平均池化,过滤器的宽度为 2,步幅为 2,图像的尺寸,高度和宽度都缩小了 2 倍,输出结果是一个14×14×6 的图像。
接下来又是卷积层,用一组 16 个 5×5 的过滤器,新的输出结果有 16 个通道,所以这个图像从 14 到 14 缩小到了10×10。
然后又是池化层,高度和宽度再缩小一半,输出一个 5×5×16 的图像。
将所有数字相乘,乘积是 400。下一层是全连接层,在全连接层中,第一个全连接层有120个神经元,然后还有一个全连接层有84个神经元,最后一步就是利用这 84 个特征得到最后的输出,我们还可以在这里再加一个节点用来预测 y^的值, y^有 10 个可能的值,对应识别 0-9 这 10 个数字。LeNet-5 网络在输出层使用了另外一种,现在已经很少用到的分类器。
LeNet,只有约 6 万个参数,当时人们并没有使用 padding,或者总是使用 valid 卷积,这就是为什么每进行一次卷积,图像的高度和宽度都会缩小。这个神经网络中使用 sigmoid 函数和 tanh 函数,而不是ReLu 函数。经典的 LeNet-5 网络在池化后进行了非线性