图 1：使用 CNN 运行图像分割的结果。按从上到下的顺序，输入图像、地面实况分割掩码、预测分割掩码。

四、Conv-BatchNorm-ReLU 和 Max Pooling/Unpooling

        卷积、批量归一化、ReLU 块是视觉 AI 的三位一体。你会看到它经常与基于 CNN 的视觉 AI 模型一起使用。这些术语中的每一个都代表在 PyTorch 中实现的不同层。卷积层负责对输入张量执行学习过滤器的互相关操作。批量归一化将批次中的元素居中为零均值和单位方差，ReLU 是一种非线性激活函数，仅保留输入中的正值。

        典型的CNN随着层的堆叠而逐渐减小输入空间维度。下一节将讨论缩小空间维度背后的动机。这种减少是通过使用简单的函数（如最大值或平均值）汇集相邻值来实现的。我们将在最大池化部分进一步讨论这个问题。在分类问题中，转换-BN-ReLU-池块堆栈后跟一个分类头，用于预测输入属于目标类之一的概率。某些问题集（如语义分割）需要按像素进行预测。对于这种情况，在下采样块之后附加一堆上采样块，以将其输出投影到所需的空间维度。上采样块只不过是 Conv-BN-ReLU-Unpool 块，它们用非池化层替换池化层。我们将在最大池化部分详细讨论取消池化。

现在，让我们进一步阐述卷积层背后的动机。

五、卷积

        卷积是视觉 AI 模型的基本构建块。它们在计算机视觉中大量使用，历史上一直用于实现视觉转换，例如：

1. 边缘检测
2. 图像模糊和锐化
3. 凹凸
4. 强化

卷积运算是两个矩阵的元素乘法和聚合。卷积操作示例如图 2 所示。

图 2：卷积操作的图示。来源：作者

        在深度学习上下文中，卷积是在称为过滤器的 n 维参数矩阵或较大输入上的内核之间进行的。这是通过在输入上滑动滤波器并将卷积应用于相应部分来实现的。幻灯片的范围是使用步幅参数配置的。一步意味着内核滑过一步以执行下一部分。与使用固定滤波器的传统方法相反，深度学习使用反向传播从数据中学习过滤器。

那么卷积如何帮助深度学习呢？

在深度学习中，卷积层用于检测视觉特征。典型的CNN模型包含一堆这样的层。堆栈中的底层检测简单的特征，例如线条和边缘。当我们在堆栈中向上移动时，这些层会检测到越来越复杂的特征。堆栈中的中间层检测线条和边缘的组合，顶层检测复杂的形状，如汽车、面部或飞机。图 3 直观地显示了经过训练的模型的顶层和底层的输出。

图 3：卷积过滤器学习识别的内容。来源：卷积深度信念网络，用于分层表示的可扩展无监督学习

        卷积层具有一组可学习的过滤器，这些过滤器作用于输入中的小区域，以为每个区域生成具有代表性的输出值。例如，3x3 筛选器在 3x3 大小的区域上运行，并生成代表该区域的值。在输入区域重复应用滤波器会产生一个输出，该输出成为堆栈中下一层的输入。直观地说，较高的层可以“看到”输入的更大区域。例如，第二个卷积层中的 3x3 滤波器对第一个卷积层的输出进行操作，其中每个单元都包含有关输入中 3x3 大小区域的信息。如果我们假设 stride=1 的卷积操作，那么第二层中的过滤器将“看到”原始输入的 5x5 大小区域。这称为卷积的感受野。卷积层的重复应用逐渐减小了输入图像的空间维度，并增加了滤波器的视野，使它们能够“看到”复杂的形状。图 4 显示了卷积网络对一维输入的处理。输出层中的元素代表相对较大的输入块。

图 4：内核大小 = 1 的一维卷积的感受野，应用 3 次。假设步幅=3 且没有填充。在卷积核连续第三次应用后，单个像素能够在原始输入图像中看到 1 个像素。来源：作者

        一旦卷积层可以检测到这些对象并能够生成它们的表示，我们就可以使用这些表示进行图像分类、图像分割以及对象检测和定位。从广义上讲，CNN遵循以下一般原则：

1. 卷积层要么保持输出通道©的数量不变，要么将其加倍。
2. 它使用 步幅=1 保持空间维度不变，或使用步幅=2 将其减少到一半。
3. 通常将卷积块的输出池化以更改图像的空间维度。

        卷积层将内核独立地应用于每个输入。这可能会导致其输出因不同的输入而异。批处理规范化层通常遵循卷积层来解决此问题。让我们在下一节中详细了解它的作用。

六、批量规范化

        批次归一化图层将批次输入中的通道值归一化为零均值和单位方差。此归一化对批处理中的每个通道独立执行，以确保输入的通道值具有相同的分布。批量规范化具有以下优点：

1. 它通过防止梯度变得太小时来稳定训练过程。
2. 它在我们的任务上实现了更快的收敛。

        如果我们所拥有的只是一堆卷积层，由于线性变换的级联效应，它基本上等同于单个卷积层网络。换句话说，一系列线性变换可以替换为具有相同效果的单个线性变换。直观地说，如果我们将一个常数 k₁ 的向量乘以另一个常数 k₂，则相当于单次乘以常数 k₁k₂。因此，为了使网络具有现实深度，它们必须具有非线性以防止其崩溃。我们将在下一节中讨论经常用作非线性的ReLU。

七、激活函数Qdot

        ReLU是一个简单的非线性激活函数，它削波最低输入值以大于或等于0。它还有助于解决将输出限制为大于或等于 0 的梯度消失问题。ReLU 图层后通常跟一个池化层，用于缩小缩小子网中的空间维度，或一个非池化层，用于提升子网中的空间维度。下一节将提供详细信息。

八、池化

        池化层用于缩小输入的空间维度。步幅 = 2 的池化会将空间维度为 （H， W） 的输入转换为 （H/2， W/2）。最大池化是深度 CNN 中最常用的池化技术。它将网格中的最大值（例如）2x2 投影到输出上。然后，我们根据类似于卷积的步幅将 2x2 池化窗口滑动到下一部分。使用 step=2 重复执行此操作会导致输出高度的一半和宽度的一半。另一个常用的池化层是平均池化层，它计算平均值而不是最大值。

        池化层的反面称为非池化层。它采用 （H， W） 尺寸输入并将其转换为 （2H， 2W） 尺寸输出，步幅 = 2。此转换的必要组成部分是在输出的 2x2 部分中选择位置以投影输入值。为此，我们需要一个最大解池索引映射，它告诉我们输出部分中的目标位置。此取消池化映射由之前的最大池化操作生成。图 5 显示了池化和取消池化操作的示例。

图 5：最大池化和取消池化。来源：DeepPainter：使用深度卷积自动编码器的Painter分类

我们可以将最大池化视为一种非线性激活函数。但是，据报道，使用它来替换诸如ReLU之类的非线性会影响网络的性能。相反，平均池化不能被视为非线性函数，因为它使用其所有输入来产生其输入的线性组合输出。

这涵盖了深度CNN的所有基本构建块。现在，让我们将它们放在一起以创建一个模型。我们为本练习选择的模型称为SegNet。我们接下来会讨论它。