一、计算机视觉

1.概述

计算机视觉作为一门让机器学会如何去“看”的学科，具体的说，就是让机器去识别摄像机拍摄的图片或视频中的物体，检测出物体所在的位置，并对目标物体进行跟踪，从而理解并描述出图片或视频里的场景和故事，以此来模拟人脑视觉系统。因此，计算机视觉也通常被叫做机器视觉，其目的是建立能够从图像或者视频中“感知”信息的人工系统。

计算机视觉技术已经在交通（车牌识别、道路违章抓拍）、安防（人脸闸机、小区监控）、金融（刷脸支付、柜台的自动票据识别）、医疗（医疗影像诊断）、工业生产（产品缺陷自动检测）等多个领域应用。

 本文主要介绍计算机视觉的经典模型（卷积神经网络）和两个典型任务（图像分类和目标检测）。

卷积神经网络：卷积神经网络（Convolutional Neural Networks, CNN）是计算机视觉技术最经典的模型结构。这里主要介绍卷积神经网络的常用模块，包括：卷积、池化、激活函数、批归一化、丢弃法等。

• 图像分类：介绍图像分类算法的经典模型结构，包括：LeNet、AlexNet、VGG、GoogLeNet、ResNet。

• 目标检测：介绍目标检测YOLO系列算法

2.发展历程 

目前人类的视觉系统已经具备非常高的复杂度和强大的功能，人脑中神经元数目达到了1000亿个，这些神经元通过网络互相连接，这样庞大的视觉神经网络使得我们可以很轻松的观察周围的世界。

计算机视觉技术尝试从不同的角度进行图像的识别，由此发展出一系列的子任务。 

• (a) Image Classification： 图像分类，用于识别图像中物体的类别（如：bottle、cup、cube）。

• (b) Object Localization： 目标检测，用于检测图像中每个物体的类别，并准确标出它们的位置。

• (c) Semantic Segmentation： 图像语义分割，用于标出图像中每个像素点所属的类别，属于同一类别的像素点用一个颜色标识。

• (d) Instance Segmentation： 实例分割，值得注意的是，（b）中的目标检测任务只需要标注出物体位置，而（d）中的实例分割任务不仅要标注出物体位置，还需要标注出物体的外形轮廓。

 在早期的图像分类任务中，通常是先人工提取图像特征，再用机器学习算法对这些特征进行分类，分类的结果强依赖于特征提取方法，往往只有经验丰富的研究者才能完成，如下图所示。

 在这种背景下，基于神经网络的特征提取方法应运而生。Yann LeCun是最早将卷积神经网络应用到图像识别领域的，其主要逻辑是使用卷积神经网络提取图像特征，并对图像所属类别进行预测，通过训练数据不断调整网络参数，最终形成一套能自动提取图像特征并对这些特征进行分类的网络。

 这一方法在手写数字识别任务上取得了极大的成功，但在接下来的时间里，却没有得到很好的发展。其主要原因一方面是数据集不完善，只能处理简单任务，在大尺寸的数据上容易发生过拟合；另一方面是硬件瓶颈，网络模型复杂时，计算速度会特别慢。

现在计算机视觉技术已经应用到包括分类、检测、分割、场景描述、图像生成和风格变换等领域中，甚至不仅仅局限于2维图片，包括视频处理技术和3D视觉等

二、卷积神经网络

1.简介

卷积神经网络是目前计算机视觉中使用最普遍的模型结构，包含的基础模块有：

• 卷积（Convolution）
• 池化（Pooling）
• ReLU激活函数
• 批归一化（Batch Normalization）
• 丢弃法（Dropout）

在手写数字识别任务中，应用全连接网络进行特征提取，将一张图片上的所有像素点展开成一个1维向量输入网络，存在如下两个问题：

1. 输入数据的空间信息被丢失。 空间上相邻的像素点往往具有相似的RGB值，RGB的各个通道之间的数据通常密切相关，但是转化成1维向量时，这些信息被丢失。同时，图像数据的形状信息中，可能隐藏着某种本质的模式，但是转变成1维向量输入全连接神经网络时，这些模式也会被忽略。

2. 模型参数过多，容易发生过拟合。 在手写数字识别案例中，每个像素点都要跟所有输出的神经元相连接。当图片尺寸变大时，输入神经元的个数会按图片尺寸的平方增大，导致模型参数过多，容易发生过拟合。

为了解决上述问题，可以引入卷积神经网络进行特征提取，既能提取到相邻像素点之间的特征模式，又能保证参数的个数不随图片尺寸变化。图6 是一个典型的卷积神经网络结构，多层卷积和池化层组合作用在输入图片上，在网络的最后通常会加入一系列全连接层，ReLU激活函数一般加在卷积或者全连接层的输出上，网络中通常还会加入Dropout来防止过拟合。 

说明：在卷积神经网络中，计算范围是在像素点的空间邻域内进行的，卷积核参数的数目也远小于全连接层。卷积核本身与输入图片大小无关，它代表了对空间邻域内某种特征模式的提取。比如，有些卷积核提取物体边缘特征，有些卷积核提取物体拐角处的特征，图像上不同区域共享同一个卷积核。当输入图片大小不一样时，仍然可以使用同一个卷积核进行操作。

2.卷积（Convolution）

介绍卷积算法的原理和实现方案

• 卷积计算

• 填充（padding）

• 步幅（stride）

• 感受野（Receptive Field）

• 多输入通道、多输出通道和批量操作

2.1卷积计算

卷积是数学分析中的一种积分变换的方法，在图像处理中采用的是卷积的离散形式。这里需要说明的是，在卷积神经网络中，卷积层的实现方式实际上是数学中定义的互相关 （cross-correlation）运算，与数学分析中的卷积定义有所不同，这里跟其他框架和卷积神经网络的教程保持一致，都使用互相关运算作为卷积的定义，具体的计算过程如图7 所示。

说明：卷积核（kernel）也被叫做滤波器（filter），假设卷积核的高和宽分别为Kh​和Kw​，则将称为Kh​×Kw​卷积。在卷积神经网络中，一个卷积算子除了上面描述的卷积过程之外，还包括加上偏置项的操作。

 2.2填充（padding）

当卷积核尺寸大于1时，输出特征图的尺寸会小于输入图片尺寸。如果经过多次卷积，输出图片尺寸会不断减小。为了避免卷积之后图片尺寸变小，通常会在图片的外围进行填充(padding)，如 图8 所示。

 在卷积计算过程中，通常会在高度或者宽度的两侧采取等量填充。

卷积核大小通常使用1，3，5，7这样的奇数，如果使用的填充大小为ph​=(kh​−1)/2，pw​=(kw​−1)/2，则卷积之后图像尺寸不变。例如当卷积核大小为3时，padding大小为1，卷积之后图像尺寸不变。

2.3步幅 （stride）

 卷积核在图片上移动时，每次移动的像素点个数。宽和高方向的步幅可以不同。

2.4感受野（Receptive Field）

输出特征图上每个点的数值，是由输入图片上大小为kh​×kw​的区域的元素与卷积核每个元素相乘再相加得到的，所以输入图像上kh​×kw​区域内每个元素数值的改变，都会影响输出点的像素值。我们将这个区域叫做输出特征图上对应点的感受野。感受野内每个元素数值的变动，都会影响输出点的数值变化。比如3×33×3卷积对应的感受野大小就是3×33×3，如图10所示。 

 而当通过两层3×3的卷积之后，感受野的大小将会增加到5×5，如图11所示。

 因此，当增加卷积网络深度的同时，感受野将会增大，输出特征图中的一个像素点将会包含更多的图像语义信息。

2.5多通道和批量操作

前面介绍的卷积计算过程比较简单，实际应用时，处理的问题要复杂的多。例如：对于彩色图片有RGB三个通道，需要处理多输入通道的场景。输出特征图往往也会具有多个通道，而且在神经网络的计算中常常是把一个批次的样本放在一起计算，所以卷积算子需要具有批量处理多输入和多输出通道数据的功能，下面将分别介绍这几种场景的操作方式。

• 多输入通道场景

上面的例子中，卷积层的数据是一个2维数组，但实际上一张图片往往含有RGB三个通道，要计算卷积的输出结果，卷积核的形式也会发生变化。假设输入图片的通道数为Cin​，输入数据的形状是Cin​×Hin​×Win​，计算过程如图12所示。

1. 对每个通道分别设计一个2维数组作为卷积核，卷积核数组的形状是Cin​×kh​×kw​。

2. 对任一通道Cin​∈[0,Cin​)，分别用大小为kh​×kw​的卷积核在大小为Hin​×Win​的二维数组上做卷积。

3. 将这Cin​个通道的计算结果相加，得到的是一个形状为Hout​×Wout​的二维数组。

• 多输出通道场景

一般来说，卷积操作的输出特征图也会具有多个通道Cout​，这时我们需要设计Cout​个维度为Cin​×kh​×kw​的卷积核，卷积核数组的维度是Cout​×Cin​×kh​×kw​，如图13所示。

1. 对任一输出通道cout​∈[0,Cout​)，分别使用上面描述的形状为Cin​×kh​×kw​的卷积核对输入图片做卷积。
2. 将这Cout​个形状为Hout​×Wout​的二维数组拼接在一起，形成维度为Cout​×Hout​×Wout​的三维数组。

说明：通常将卷积核的输出通道数叫做卷积核的个数。

•  批量操作

在卷积神经网络的计算中，通常将多个样本放在一起形成一个mini-batch进行批量操作，即输入数据的维度是N×Cin​×Hin​×Win​。由于会对每张图片使用同样的卷积核进行卷积操作，卷积核的维度与上面多输出通道的情况一样，仍然是Cout​×Cin​×kh​×kw​，输出特征图的维度是N×Cout​×Hout​×Wout​，如图14所示。

 2.6卷积算子应用案例

简单的黑白边界检测

使用Conv2D算子完成一个图像边界检测的任务。图像左边为光亮部分，右边为黑暗部分，需要检测出光亮跟黑暗的分界处。

设置宽度方向的卷积核为[1,0,−1][1,0,−1]，此卷积核会将宽度方向间隔为1的两个像素点的数值相减。只有当卷积核覆盖的像素点有的处于光亮区域，有的处在黑暗区域时，左右间隔为1的两个点像素值的差才不为0。将此卷积核作用到图片上，输出特征图上只有对应黑白分界线的地方像素值才不为0。

图像中物体边缘检测

对于真实的图片，也可以使用合适的卷积核(3*3卷积核的中间值是8，周围一圈的值是8个-1)对其进行操作，用来检测物体的外形轮廓，观察输出特征图跟原图之间的对应关系。

图像均值模糊

采用卷积核（5*5的卷积核中每个值均为1）是用当前像素跟它邻域内的像素取平均，这样可以使图像上噪声比较大的点变得更平滑。

3.池化（Pooling）

池化是使用某一位置的相邻输出的总体统计特征代替网络在该位置的输出，其好处是当输入数据做出少量平移时，经过池化函数后的大多数输出还能保持不变。比如：当识别一张图像是否是人脸时，我们需要知道人脸左边有一只眼睛，右边也有一只眼睛，而不需要知道眼睛的精确位置，这时候通过池化某一片区域的像素点来得到总体统计特征会显得很有用。由于池化之后特征图会变得更小，如果后面连接的是全连接层，能有效的减小神经元的个数，节省存储空间并提高计算效率。 如图15所示，将一个2×2的区域池化成一个像素点。通常有两种方法，平均池化和最大池化。

• 如图15（a）：平均池化。这里使用大小为2×2的池化窗口，每次移动的步幅为2，对池化窗口覆盖区域内的像素取平均值，得到相应的输出特征图的像素值。
• 如图15（b）：最大池化。对池化窗口覆盖区域内的像素取最大值，得到输出特征图的像素值。当池化窗口在图片上滑动时，会得到整张输出特征图。池化窗口的大小称为池化大小，用Kh​×Kw​表示。在卷积神经网络中用的比较多的是窗口大小为2×2，步幅为2的池化。

 与卷积核类似，池化窗口在图片上滑动时，每次移动的步长称为步幅，宽和高方向的移动大小可以不一样。可以对需要进行池化的图片进行填充，填充方式与卷积类似。

在卷积神经网络中，通常使用2×22×2大小的池化窗口，步幅也使用2，填充为0。通过这种方式的池化，输出特征图的高和宽都减半，但通道数不会改变。

4.ReLU激活函数

前面介绍的网络结构中，普遍使用Sigmoid函数做激活函数。在神经网络发展的早期，Sigmoid函数用的比较多，而目前用的较多的激活函数是ReLU。这是因为Sigmoid函数在反向传播过程中，容易造成梯度的衰减。

Sigmoid激活函数定义如下：

ReLU激活函数的定义如下：

梯度消失现象：在神经网络里，将经过反向传播之后，梯度值衰减到接近于零的现象称作梯度消失现象。

 从上面的函数曲线可以看出，当x为较大的正数的时候，Sigmoid函数数值非常接近于1，函数曲线变得很平滑，在这些区域Sigmoid函数的导数接近于零。当x为较小的负数时，Sigmoid函数值也非常接近于0，函数曲线也很平滑，在这些区域Sigmoid函数的导数也接近于0。只有当x的取值在0附近时，Sigmoid函数的导数才比较大。 

由于最开始是将神经网络的参数随机初始化的，x的取值很有可能在很大或者很小的区域，这些地方都可能造成Sigmoid函数的导数接近于0，导致x的梯度接近于0；即使x取值在接近于0的地方，按上面的分析，经过Sigmoid函数反向传播之后，x的梯度不超过y的梯度的1441​，如果有多层网络使用了Sigmoid激活函数，则比较靠后的那些层梯度将衰减到非常小的值。

ReLU函数则不同，虽然在x<0的地方，ReLU函数的导数为0。但是在x≥0的地方，ReLU函数的导数为1，能够将y的梯度完整的传递给x，而不会引起梯度消失。

5.批归一化

批归一化（Batch Normalization，BatchNorm）是由Ioffe和Szegedy于2015年提出的，已被广泛应用在深度学习中，其目的是对神经网络中间层的输出进行标准化处理，使得中间层的输出更加稳定。

通常我们会对神经网络的数据进行标准化处理，处理后的样本数据集满足均值为0，方差为1的统计分布，这是因为当输入数据的分布比较固定时，有利于算法的稳定和收敛。对于深度神经网络来说，由于参数是不断更新的，即使输入数据已经做过标准化处理，但是对于比较靠后的那些层，其接收到的输入仍然是剧烈变化的，通常会导致数值不稳定，模型很难收敛。BatchNorm能够使神经网络中间层的输出变得更加稳定，并有如下三个优点：

• 使学习快速进行（能够使用较大的学习率）

• 降低模型对初始值的敏感性

• 从一定程度上抑制过拟合

BatchNorm主要思路是在训练时以mini-batch为单位，对神经元的数值进行归一化，使数据的分布满足均值为0，方差为1。具体计算过程如下：

1. 计算mini-batch内样本的均值

2. 计算mini-batch内样本的方差 

3. 计算标准化之后的输出 

可以验证由标准化后的输出构成的mini-batch，满足均值为0，方差为1的分布。 

将输出层的分布标准化之后，可能会导致某些特征模式的丢失，所以在标准化之后，BatchNorm会紧接着对数据做仿射变换包括（缩放、平移和旋转等）。

其中γ和β是可学习的参数，可以赋初始值γ=1, β=0，在训练过程中不断学习调整。

预测时使用BatchNorm

 上面介绍了在训练过程中使用BatchNorm对一批样本进行归一化的方法，但如果使用同样的方法对需要预测的一批样本进行归一化，则预测结果会出现不确定性。

不同批次样本（AB一批或AC一批）计算的均值和方差，得到的结果一般来说是不同的。那么同一样本A的预测结果就会变得不确定，这对预测过程来说是不合理的。解决方法是在训练过程中将大量样本的均值和方差保存下来，预测时直接使用保存好的值而不再重新计算。实际上，在BatchNorm的具体实现中，训练时会计算均值和方差的移动平均值。

6.丢弃法（Dropout）

丢弃法（Dropout）是深度学习中一种常用的抑制过拟合的方法，其做法是在神经网络学习过程中，随机删除一部分神经元。训练时，随机选出一部分神经元，将其输出设置为0，这些神经元将不对外传递信号。

下图是Dropout示意图，左边是完整的神经网络，右边是应用了Dropout之后的网络结构。应用Dropout之后，会将标了X的神经元从网络中删除，让它们不向后面的层传递信号。在学习过程中，丢弃哪些神经元是随机决定，因此模型不会过度依赖某些神经元，能一定程度上抑制过拟合。

在预测场景时，会向前传递所有神经元的信号，可能会引出一个新的问题：训练时由于部分神经元被随机丢弃了，输出数据的总大小会变小。比如：计算其L1范数会比不使用Dropout时变小，但是预测时却没有丢弃神经元，这将导致训练和预测时数据的分布不一样。