耕地单目标语义分割实践——Pytorch网络过程实现理解

一、卷积操作

（一）普通卷积（Convolution）

（二）空洞卷积（Atrous Convolution）

根据空洞卷积的定义，显然可以意识到空洞卷积可以提取到同一输入的不同尺度下的特征图，具有构建特征金字塔的基础。

（三）深度可分离卷积（Depthwise-Separable Convolution）

在对深度可分离卷积具有一定的了解后，我产生了一种“既然模型参数大幅度减少了，那么该模型的运行时间应该也会大幅度缩减”的想法。可是，当我分别在GPU、CPU上进行实验时，我发现结果并不与我当初所想相同。后经过查阅资料[13][14]进一步加深了我对硬件计算优势以及深度可分离卷积的理解。（注：1）实际上，通常我们一层卷积之后都会加深特征图深度，但是我所设计的实验保持了原有深度前向计算。同时，一个卷积网络也应顾及到模型精确性适当使用DSC而非完全；2）参考资料[13]具有与我相同思想的不同模型之间的对比试验）

适合GPU运算的运算类型有1）大量轻量级运算；2）高度并行运算：3）计算密集型：4）浮点型运算等。CPU擅长于串行运行。

针对DSC有可能出现模型参数大幅度减少，但模型运行时间却不下降的现象，可能存在以下原因：

1）许多深度学习加速器和库（如CUDA和cuDNN），对深度可分离卷积的优化可能不够；

2）尽管深度可分离卷积需要的乘、加运算较少，但与普通卷积相比，它可能需要更多的内存访问操作，这在GPU上可能导致效率降低；

3）受限于自身设备的显存容量。

（四）转置卷积（Transpose Convolution）

转置卷积是一种卷积，它将输入和核进行了重新排列，同卷积一般是做下采样不同，它通常用作上采样。如果卷积将输入从（h，w）变成了（h‘，w'），同样超参数下转置卷积将（h‘，w'）变成（h，w）。

转置卷积可以变为对应核的矩阵乘法。转置卷积是一种变化了输入和核的卷积，来得到上采样的目的，其并不等同于数学上的反卷积概念。在深度学习中，反卷积神经网络指用了转置卷积的神经网络。

二、池化操作

池化操作主要的作用为1）减少网络计算量与内存消耗；2）增加感受野大小；3）增加平移不变性（即较小的特征偏移也不影响特征输出）。从某种角度上来说，Pooling操作是一种对现存硬件计算能力和存储设备的妥协，其在某些卷积神经网络（如Resnet）可以被忽略。

三、数据归一化操作

数据归一化操作中（以BatchNormal为例），β和γ参数是需要计算梯度更新的学习参数，数据归一化行为在Train、Test过程中是不一样的。在Train过程中，我们需要不断计算反向梯度更新β、γ参数，而在Test过程中我们是会固定前面学习得到的β、γ参数（Pytorch中测试调用net.eval()）。

批量归一化的主要作用：

1）控制传入下一层的特征图数据，有效减少梯度爆炸和梯度消失的可能；

2）减少对参数初始化的依赖；

3）便于应用更高的学习率，实现更快的收敛。