计算CNN卷积层和全连接层的参数量
先前阅读
- CNN Explainer
- A Comprehensive Guide to Convolutional Neural Networks — the ELI5 way
本文主旨意在搞明白2个问题:
第一个问题
一个卷积操作,他的参数,也就是我们要训练的参数,也就是我们说的权重,有多少个? 看到一个nn.Conv()函数,就能知道有多少个,它由那些因子决定的?
参数量是由以下3个因子决定的:
- 卷积核大小(HxW)
- 卷积核维度(D)
- 卷积核有多少个
则卷积层的参数量为 卷积核大小(HxW) * 卷积核维度(D) * 卷积核有多少个
第二个问题
一个全连接操作,参数又有多少个?它由那些因子决定的?
- 输入大小为 N
- 输出大小为 M
则全连接层的参数量为 N×M
计算CNN卷积层的参数量
案例1
动态演示
看上图案例1的计算,输入图像为 5x5x1, 卷积核3x3x1, 输出3x3x1;
思考3个参数:
- 卷积核大小(HxW) ==》3x3
- 卷积核维度(D) ==》1
- 卷积核有多少个 ==》1
参数量为 3x3x1x1 = 9个
案例2
看上图案例2的计算,输入图像为 H1xW1x3, 卷积核3x3x3, 输出H2xW2x1;
思考3个参数:
- 卷积核大小(HxW) ==》3x3
- 卷积核维度(D) ==》3
- 卷积核有多少个 ==》1
参数量为 3x3x3x1 = 27个
从上面的两个案例可以看出, 参数量与输入图像的HxW没有关系, 参数量与输出图像的HxW也没有关系。
案例3
VGG-16为例,conv1-1,第一层
输入224x224x3, 输出是224x224x64,卷积核3x3
思考3个参数:
- 卷积核大小(HxW) ==》3x3
- 卷积核维度(D) ==》3
- 有多少个卷积核 ==》64
卷积核的维度是多少? 是由输入图像的维度决定,这里是3
卷积核的个数是多少? 是由输出图像的维度决定,这里是64
所以参数量 = 3x3x卷积核维度x卷积核个数 = 3x3x3x64 = 27个
Pytorch代码辅助理解
代码
nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')
案例3中的卷积操作如下:
nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros')
参数量计算: = kernel_size * kernel_size * in_channels(卷积核维度) * out_channels(卷积核个数) = 3 * 3 * 3 * 64
stride=1, padding=0, 这两个会影响到输出的HxW,上文已经提到和我们要计算的参数量无关。
最后,补上偏置参数,
每个卷积核都加个偏置 ,所以总得参数量:
参数量计算: = kernel_size * kernel_size * in_channels(卷积核维度) * out_channels(卷积核个数) + bias(=卷积核个数) = 3 * 3 * 3 * 64+64
计算FC全连接层的参数量
先看一段代码,这是我们经常看到的一段代码,先把x解析到1x9的维度,再做全连接操作
self.fc = nn.Linear(9, 4)x = x.view(-1, 9) # 把x,解析到1x9的维度,这一个操作是没有权重的
x = self.fc(x) # 做全连接操作
上面的代码对应的操作图,如下
图片来源 | Fully Connected Layer vs. Convolutional Layer: Explained
红色框的参数,就是我们要找的权重参数,有多少个?
思考问题?
- 输入大小为 N = 9
- 输出大小为 M =4
计算参数量 = 9x4 = 36个
再看对应的连接图
上图中的每一条连接线(橙色和蓝色的线),都有一个权重参数,共36条,所以有36个参数。
最后,补上偏置参数,
偏置参数数量: 每个输出节点有一个偏置项(bias),因此偏置参数的数量等于输出节点的数量,即 M=4
所以,总的参数数量为N×M+M = 40,即 M 为输出节点数量,N 为输入节点数量。
END