👨‍💻作者简介：大数据专业硕士在读，CSDN人工智能领域博客专家，阿里云专家博主，专注大数据与人工智能知识分享，公众号：GoAI的学习小屋，免费分享书籍、简历、导图等资料，更有交流群分享AI和大数据，加群方式公众号回复“加群”或➡️点击链接。

🎉专栏推荐：➡️点击访问《计算机视觉》：长期更新不限于深度学习、OCR、目标检测、图像分类、分割等方向总结资料。      ➡️点击访问《深入浅出OCR》:  对标全网最全OCR教程。此外，针对CV各方向实战已开通对应专栏，感兴趣小伙伴可关注下。

🎉学习者福利：强烈推荐一个优秀AI学习网站，包括机器学习、深度学习等理论与实战教程，非常适合AI学习者。➡️网站链接。

🎉技术控福利：程序员兼职社区招募！技术范围广，CV、NLP方向均可，要求有一定基础，最好是研究生及以上或有工作经验，欢迎大佬加入！群内Python、c++、Matlab等各类编程语言单应有尽有, 资源靠谱、费用自谈，有意向直接➡️访问。

目录

常见的分类算法

一、深度学习概念

1.深度学习定义

2.深度学习应用

3.深度学习主要术语

二、神经网络基础

1. 神经网络组成

感知机

多层感知机

3.前向传播和反向传播介绍

前向传播

反向传播

三、超参数

1 什么是超参数？

2.如何寻找超参数的最优值？

3.超参数搜索一般过程？

四、激活函数

1.什么是激活函数

2.为什么要使用激活函数？

 3.为什么激活函数需要非线性函数？

4.常见激活函数

五、优化方法总结 

一、基本的梯度下降方法

（1）随机梯度下降法 SGD

（2）批量梯度下降法 BGD

小批量梯度下降法 MBGD

(4) Adagrad

二、Momentum 动量梯度下降

三、Adam 优化器

四、RMSprop 优化器

优化算法小结

六、损失函数

1.损失函数定义

2 回归损失函数

(1) 均方误差损失函数

3 分类损失函数

(1) Logistic损失函数

4.神经网络中常用的损失函数

(1) ReLU + MSE

(2) Sigmoid + Logistic

(3) Softmax + Logisitc

5.激活函数、损失函数、优化函数的区别

七、CNN卷积神经网络

小白推荐文章：如何通俗易懂地解释卷积？ - 知乎

CNN 特点：

CNN两大核心：

1.局部连接：

 2.参数共享:

CNN网络介绍

 1. 卷积层

1.1 单通道输入，单卷积核

1.2 多通道输入，单卷积核

1.3 多通道输入，多卷积核

1.4 填充padding

2. 池化层

3. 激活函数

4.全连接层

5. 网络参数量与计算量

卷积层参数/卷积计算量

6.卷积神经网络训练：

训练基本流程：

CNN详细求解：

八、经典网络介绍：

详细网络介绍可参考这篇:

卷积神经网络超详细介绍_呆呆的猫的博客-CSDN博客_卷积神经网络

CNN总结

九、RNN循环神经网络

RNN 的基本原理

十、LSTM长短期记忆神经网络

LSTM和GRU学习参考我的这篇文章：

本文参考资料及相关深度学习资料推荐

机器学习基础学习可参考：

机器学习知识点总结（待更新）_GoAl的博客-CSDN博客_机器学习知识点总结

常见的分类算法

SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯

常见的监督学习算法

感知机、SVM、人工神经网络、决策树、逻辑回归

一、深度学习概念

1.深度学习定义

深度学习定义：一般是指通过训练多层网络结构对未知数据进行分类或回归

深度学习分类：有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；

                         无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。

深度学习的思想：

深度神经网络的基本思想是通过构建多层网络，对目标进行多层表示，以期通过多层的高层次特征来表示数据的抽象语义信息，获得更好的特征鲁棒性。

2.深度学习应用

图像处理领域主要应用

• 图像分类(物体识别)：整幅图像的分类或识别
• 物体检测：检测图像中物体的位置进而识别物体
• 图像分割：对图像中的特定物体按边缘进行分割
• 图像回归：预测图像中物体组成部分的坐标

语音识别领域主要应用

• 语音识别：将语音识别为文字
• 声纹识别：识别是哪个人的声音
• 语音合成：根据文字合成特定人的语音

自然语言处理领域主要应用

• 语言模型：根据之前词预测下一个单词。
• 情感分析：分析文本体现的情感(正负向、正负中或多态度类型)。
• 神经机器翻译：基于统计语言模型的多语种互译。
• 神经自动摘要：根据文本自动生成摘要。
• 机器阅读理解：通过阅读文本回答问题、完成选择题或完型填空。
• 自然语言推理：根据一句话(前提)推理出另一句话(结论)。

综合应用

• 图像描述：根据图像给出图像的描述句子
• 可视问答：根据图像或视频回答问题
• 图像生成：根据文本描述生成图像
• 视频生成：根据故事自动生成视频

3.深度学习主要术语

参考这篇文章：

机器学习与深度学习基础概念详解_GoAl的博客-CSDN博客

二、神经网络基础

1. 神经网络组成

人工神经网络（Artificial Neural Networks，简写为ANNs）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。神经网络类型众多，其中最为重要的是多层感知机。为了详细地描述神经网络，我们先从最简单的神经网络说起。

感知机

感知机是1957年，由Rosenblatt提出会，是神经网络和支持向量机的基础。

感知机是有生物学上的一个启发，他的参照对象和理论依据可以参照下图：（我们的大脑可以认为是一个神经网络，是一个生物的神经网络，在这个生物的神经网络里边呢，他的最小单元我们可以认为是一个神经元，一个neuron，这些很多个神经元连接起来形成一个错综复杂的网络，我们把它称之为神经网络。当然我们现在所说的，在深度学习包括机器学习指的神经网络Neural Networks实际上指的是人工神经网络Artificial Neural Networks，简写为ANNs。我们只是简化了。我们人的神经网络是由这样一些神经元来构成的，那么这个神经元他的一些工作机制呢就是通过这样一个下面图的结构，首先接收到一些信号，这些信号通过这些树突(dendrite)组织，树突组织接收到这些信号送到细胞里边的细胞核(nucleus)，这些细胞核对接收到的这些信号，这些信号是以什么形式存在的呢？这些信号比如说眼睛接收到的光学啊，或者耳朵接收到的声音信号，到树突的时候会产生一些微弱的生物电，那么就形成这样的一些刺激，那么在细胞核里边对这些收集到的接收到的刺激进行综合的处理，当他的信号达到了一定的阈值之后，那么他就会被激活，就会产生一个刺激的输出，那么就会形成一个我们大脑接收到的进一步的信号，那么他是通过轴突这样的输出计算的，这就是我们人脑的一个神经元进行感知的时候大致的一个工作原理。）

简单的感知机如下图所示：

 设置合适的x和b，一个简单的感知机单元的与非门表示如下：

当输入为0，1 时，感知机输出为0 × ( − 2 ) + 1 × ( − 2 ) + 3 = 1 。

复杂一些的感知机由简单的感知机单元组合而成：

多层感知机

多层感知机由感知机推广而来，最主要的特点是有多个神经元层，因此也叫深度神经网络。相比于单独的感知机，多层感知机的第i ii层的每个神经元和第i − 1 i-1i−1层的每个神经元都有连接。

输出层可以不止有11个神经元。隐藏层可以只有11层，也可以有多层。输出层为多个神经元的神经网络例如下图所示：

 2.神经网络有哪些常用模型结构？

人工神经网络由神经元模型构成，这种由许多神经元组成的信息处理网络具有并行分布结构。

其中圆形节点表示一个神经元，方形节点表示一组神经元。

下图包含了大部分常用的模型：

3.前向传播和反向传播介绍

神经网络的计算主要有两种：前向传播（foward propagation, FP）作用于每一层的输入，通过逐层计算得到输出结果；反向传播（backward propagation, BP）作用于网络的输出，通过计算梯度由深到浅更新网络参数。

前向传播

假设上一层结点i , j , k , . . . i,j,k,...i,j,k,...等一些结点与本层的结点w ww有连接，那么结点w ww的值怎么算呢？就是通过上一层的i , j , k , . . . i,j,k,...i,j,k,...等结点以及对应的连接权值进行加权和运算，最终结果再加上一个偏置项（图中为了简单省略了），最后在通过一个非线性函数（即激活函数），如R e L u ReLuReLu，s i g m o i d sigmoidsigmoid等函数，最后得到的结果就是本层结点w ww的输出。

最终不断的通过这种方法一层层的运算，得到输出层结果。

反向传播

反向传播——通俗易懂_chengchaowei的博客-CSDN博客_反向传播

由于我们前向传播最终得到的结果，以分类为例，最终总是有误差的，那么怎么减少误差呢，当前应用广泛的一个算法就是梯度下降算法，但是求梯度就要求偏导数，下面以图中字母为例讲解一下：

 此部分待更新！

三、超参数

1 什么是超参数？

​ 超参数 : 在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

​ 超参数通常存在于：

1.  定义关于模型的更高层次的概念，如复杂性或学习能力。
2.  不能直接从标准模型培训过程中的数据中学习，需要预先定义。
3.  可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定

​ 超参数具体来讲比如算法中的学习率（learning rate）、梯度下降法迭代的数量（iterations）、隐藏层数目（hidden layers）、隐藏层单元数目、激活函数（ activation function）都需要根据实际情况来设置，这些数字实际上控制了最后的参数和的值，所以它们被称作超参数。

2.如何寻找超参数的最优值？

​ 在使用机器学习算法时，总有一些难调的超参数。例如权重衰减大小，高斯核宽度等等。这些参数需要人为设置，设置的值对结果产生较大影响。常见设置超参数的方法有：

1. 猜测和检查：根据经验或直觉，选择参数，一直迭代。

2. 网格搜索：让计算机尝试在一定范围内均匀分布的一组值。

3. 随机搜索：让计算机随机挑选一组值。

4. 贝叶斯优化：使用贝叶斯优化超参数，会遇到贝叶斯优化算法本身就需要很多的参数的困难。

5. MITIE方法，好初始猜测的前提下进行局部优化。它使用BOBYQA算法，并有一个精心选择的起始点。由于BOBYQA只寻找最近的局部最优解，所以这个方法是否成功很大程度上取决于是否有一个好的起点。在MITIE的情况下，我们知道一个好的起点，但这不是一个普遍的解决方案，因为通常你不会知道好的起点在哪里。从好的方面来说，这种方法非常适合寻找局部最优解。稍后我会再讨论这一点。

6. 最新提出的LIPO的全局优化方法。这个方法没有参数，而且经验证比随机搜索方法好。

3.超参数搜索一般过程？

超参数搜索一般过程：

1. 将数据集划分成训练集、验证集及测试集。
2. 在训练集上根据模型的性能指标对模型参数进行优化。
3. 在验证集上根据模型的性能指标对模型的超参数进行搜索。
4. 步骤 2 和步骤 3 交替迭代，最终确定模型的参数和超参数，在测试集中验证评价模型的优劣。

其中，搜索过程需要搜索算法，一般有：网格搜索、随机搜过、启发式智能搜索、贝叶斯搜索。

四、激活函数

1.什么是激活函数

激活函数(Activation functions)对于人工神经网络 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

2.为什么要使用激活函数？

1. 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。
2. 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。
3. 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

 3.为什么激活函数需要非线性函数？

1. 假若网络中全部是线性部件，那么线性的组合还是线性，与单独一个线性分类器无异。这样就做不到用非线性来逼近任意函数。
2. 使用非线性激活函数 ，以便使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据，以及表示输入输出之间非线性的复杂的任意函数映射。使用非线性激活函数，能够从输入输出之间生成非线性映射。

4.常见激活函数

激活函数详细学习参考以下资料：

激活函数的前世今生_不积跬步，无以至千里！

激活函数常见问题总结_不积跬步，无以至千里

深度学习笔记_各种激活函数总结对比_惊鸿一博-CSDN博客

优秀总结参考：

• 【推荐】深度学习笔记——常用的激活（激励）函数
• 深度学习: 激活函数 (Activation Functions)

一些选择激活函数的经验法则：
如果输出是0、1值（二分类问题），则输出层选择 sigmoid 函数，然后其它的所有单元都选择 Relu 函数。这是很多激活函数的默认选择，如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数。

五、优化方法总结 

一、基本的梯度下降方法

梯度下降算法简介：

通俗易懂讲解梯度下降法！

梯度下降学习入门视频推荐：

【梯度下降】人工智能的灵魂，你悟出她的真谛了吗？

【干货】深度学习必备：深入浅出的学习（梯度下降算法）_哔哩哔哩_bilibili

深度学习网络训练过程可以分成两大部分：前向计算过程与反向传播过程。前向计算过程，是指通过我们预先设定好的卷积层、池化层等等，按照规定的网络结构一层层前向计算，得到预测的结果。反向传播过程，是为了将设定的网络中的众多参数一步步调整，使得预测结果能更加贴近真实值。

那么，在反向传播过程中，很重要的一点就是：参数如何更新？或者问的更具体点：参数应该朝着什么方向更新？

显然，参数应该是朝着目标损失函数下降最快的方向更新，更确切的说，要朝着梯度方向更新！ 假设网络参数是 θ \thetaθ，学习率是 η \etaη，网络表示的函数是 J ( θ ) J(\theta)J(θ)，函数此时对θ \thetaθ的梯度为：▽ θ J ( θ ) \bigtriangledown_{\theta }J(\theta)▽θ​J(θ)，于是参数 θ \thetaθ 的更新公式可表示为：

在深度学习中，有三种最基本的梯度下降算法：SGD、BGD、MBGD，他们各有优劣。根据不同的数据量和参数量，可以选择一种具体的实现形式，在训练神经网络是优化算法大体可以分为两类：1）调整学习率，使得优化更稳定；2）梯度估计修正，优化训练速度。

（1）随机梯度下降法 SGD

（2）批量梯度下降法 BGD

小批量梯度下降法 MBGD

（5）Adadelta

(1) 均方误差损失函数

def mean_squared_error(y_true, y_pred):return np.mean(np.square(y_pred - y_true), axis=-1)

def mean_absolute_error(y_true, y_pred):return np.mean(np.abs(y_pred - y_true), axis=-1)

def mean_squared_logarithmic_error(y_true, y_pred):first_log = np.log(np.clip(y_pred, 10e-6, None) + 1.)second_log = np.log(np.clip(y_true, 10e-6, None) + 1.)return np.mean(np.square(first_log - second_log), axis=-1)

def mean_absolute_percentage_error(y_true, y_pred):diff = np.abs((y_pred - y_true) / np.clip(np.abs(y_true), 10e-6, None))return 100 * np.mean(diff, axis=-1)

(1) Logistic损失函数

Logistic损失函数定义如下：

(2) 负对数似然损失函数

负对数似然损失函数(Negative Log Likelihood Loss)定义如下：

 (3) 交叉熵损失函数

Logistic损失函数和负对数似然损失函数只能处理二分类问题，对于两个分类扩展到M个分类，使用交叉熵损失函数(Cross Entropy Loss)，其定义如下：

 代码示例

def cross_entropy(y_true, y_pred):return -np.mean(y_true * np.log(y_pred + 10e-6))

(4) Hinge损失函数

运用 Hinge 损失的典型分类器是 SVM 算法，因为 Hinge 损失可以用来解决间隔最大化问题。当分类模型需要硬分类结果的，例如分类结果是 0 或 1 、 -1或 1 的二分类数据， Hinge 损失是最方便的选择 。Hinge 损失函数定义如下：
 

代码示例

def hinge(y_true, y_pred):return np.mean(np.maximum(1. - y_true * y_pred, 0.), axis=-1)

(5) 指数损失函数

使用指数(Exponential)损失函数的典型分类器是 AdaBoost 算法，指数损失函数的定义如下：

代码示例

def exponential(y_true, y_pred):return np.sum(np.exp(-y_true * y_pred))

4.神经网络中常用的损失函数

神经网络中的损失函数可以自定义，前提是需要考虑数据本身和用于求解的优化方案。换句话说，自定义损失函数需要考虑输入的数据形式和对损失函数求导的算法。自定义损失函数其实是有些难度的，在实际工程项目上，结合激活函数来选择损失函数是常见的做法，常用组合有以下 3 种 。

(1) ReLU + MSE

(2) Sigmoid + Logistic

(3) Softmax + Logisitc

1.1 单通道输入，单卷积核

这里单通道指的是输入为灰度图，单卷积核值卷积核个数是1个。

​
上面是 5x5x1 的灰度图片，1 表示单通道，5x5 表示分辨率，共有 5 行5列个灰度值。若用一个 3x3x1 的卷积核对此 5x5x1 的灰度图片进行卷积，偏置项b=1，则求卷积的计算是：(-1)x1+0x0+1x2+(-1)x5+0x4+1x2+(-1)x3+0x4+1x5+1=1（注意不要忘记加偏置 1）。

1.2 多通道输入，单卷积核

多数情况下，输入的图片是 RGB 三个颜色组成的彩色图，输入的图片包含了红、绿、蓝三层数据，卷积核的深度（通道数）应该等于输入图片的通道数，所以使用 3x3x3的卷积核，最后一个 3 表示匹配输入图像的 3 个通道，这样这个卷积核有三通道，每个通道都会随机生成 9 个待优化的参数，一共有 27 个待优化参数 w 和一个偏置 b。

​
注：这里还是单个卷积核的情况，但是一个卷积核可以有多个通道。默认情况下，卷积核的通道数等于输入图片的通道数。

1.3 多通道输入，多卷积核

多通道输入、多卷积核是深度神经网络中间最常见的形式。指的是多通道输入，且用多个卷积核的情况。那么卷积过程其实也很简单，以3通道输入，2个卷积核为例：

（1）先取出一个卷积核与3通道的输入进行卷积，这个过程就和多通道输入，单卷积核一样，得到一个1通道的输出output1。同样再取出第二个卷积核进行同样的操作，得到第二个输出output2
（2）将相同size的output1与output2进行堆叠，就得到2通道的输出output。

为了更直观地理解，下面给出图示：

​
图中输入X:[1,h,w,3]指的是：输入1张高h宽w的3通道图片。
卷积核W:[k,k,3,2]指的是：卷积核尺寸为3*3，通道数为3，个数为2。

总结：
（1）卷积操作后，输出的通道数=卷积核的个数
（2）卷积核的个数和卷积核的通道数是不同的概念。每层卷积核的个数在设计网络时会给出，但是卷积核的通道数不一定会给出。默认情况下，卷积核的通道数=输入的通道数，因为这是进行卷积操作的必要条件。

• 卷积与同道解释参考：CNN卷积核与通道讲解

（3）偏置数=卷积核数

1.4 填充padding

为了使卷积操作后能得到满意的输出图片尺寸，经常会使用padding对输入进行填充操作。默认在图片周围填充0。

（1）全零填充padding='same’
使用same时，会自动对原图进行全0填充，当步长为1时，可以保证输出的图片与输入的图片尺寸一致。
输出尺寸计算公式：输入长/步长 （向上取整）
TensorFlow中实现如下：（这里以卷积核个数：48，卷积核尺寸：3，步长：1，全填充为例）

layers.Conv2D(48, kernel_size=3, strides=1, padding='same')

（2）不填充padding='valid’
使用valid时，不进行任何填充，直接进行卷积，这是layers.Conv2D()默认的方式。
输出尺寸计算公式：（输入长-核长）/步长+1 （向下取整）
TensorFlow中实现如下：

layers.Conv2D(48, kernel_size=3, strides=1, padding='valid')

（3）自定义填充
一般是从上下左右四个方向进行填充，且左、右填充的列数p w p_wpw​一般相同，上、下填充的行数p h p_hph​也应该相同。如下图所示：
​
输出尺寸计算公式：

​其中，h,w为原图的高和宽，k是卷积核的尺寸，s是步长。

在TensorFlow2.0中，自定义填充过程中，padding参数的设置格式为：
padding=[ [0，0]，[上，下]，[左，右]，[0，0] ]

# 例如要在上下左右各填充一个单位，实现如下：
layers.Conv2D(48, kernel_size=3, strides=1, padding=[[0,0], [1,1], [1,1], [0,0]])

2. 池化层

池化作用如下“

1.使卷积神经网络抽取特征是保证特征局部不变性。

2.池化操作能降低维度，减少参数数量。

3..池化操作优化比较简单。

在卷积层中，可以通过调节步长参数 s 实现特征图的高宽成倍缩小，从而降低了网络的参数量。实际上，除了通过设置步长，还有一种专门的网络层可以实现尺寸缩减功能，它就是我们要介绍的池化层(Pooling layer)。

池化层同样基于局部相关性的思想，通过从局部相关的一组元素中进行采样或信息聚合，从而得到新的元素值。通常我们用到两种池化进行下采样：
（1）最大池化(Max Pooling)，从局部相关元素集中选取最大的一个元素值。
（2）平均池化(Average Pooling)，从局部相关元素集中计算平均值并返回。

3. 激活函数

4.全连接层

5. 网络参数量与计算量

卷积层：

比如：输入是32x32x3的的彩色图片，经过卷积层：

layers.Conv2D(100, kernel_size=3, strides=1, padding='same')

（1）网络参数量
主要是卷积核的参数和偏置的参数： 3x3x3x100+100=2800

（2）计算量FLOPS
深度学习框架FLOPs的概念：Floating point operations，即浮点运算数量。
{32x32x[3x3+(3x3-1)]x3+32x32x(3-1)}x100

全连接层：

比如第一层节点数是5，第二层节点数是10，求网络参数量和计算量FLOPS

（1）网络参数量
网络参数量主要来源神经元连接权重和偏置：5x10+10=60

（2）计算量FLOPS
5x10+10=60
2015 年，Google 研究人员Sergey 等基于参数标准化设计了BN层。BN层提出后，广泛地应用在各种深度网络模型上，使得网络的超参数的设定更加自由，同时网络的收敛速度更快，性能也更好。
详细了解请看：神经网络搭建：BN层

6.卷积神经网络训练：

训练基本流程：

Step 1：用随机数初始化所有的卷积核和参数/权重

Step 2：将训练图片作为输入，执行前向步骤(卷积， ReLU，池化以及全连接层的前向传播)并计算每个类别的对应输出概率。

Step 3：计算输出层的总误差

Step 4：反向传播算法计算误差相对于所有权重的梯度，并用梯度下降法更新所有的卷积核和参数/权重的值，以使输出误差最小化

注：卷积核个数、卷积核尺寸、网络架构这些参数，是在 Step 1 之前就已经固定的，且不会在训练过程中改变——只有卷积核矩阵和神经元权重会更新。

和多层神经网络一样，卷积神经网络中的参数训练也是使用误差反向传播算法，关于池化层的训练，需要再提一下，是将池化层改为多层神经网络的形式

将卷积层也改为多层神经网络的形式

CNN详细求解：

CNN在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

卷积网络执行的是监督训练，所以其样本集是由形如：（输入向量，理想输出向量）的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟系统的实际“运行”结构，它们可以是从实际运行系统中采集来。

1）参数初始化：

在开始训练前，所有的权都应该用一些不同的随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常地学习。实际上，如果用相同的数去初始化权矩阵，则网络无学习能力。

2）训练过程包括四步

① 第一阶段：前向传播阶段

• 从样本集中取一个样本，输入网络

• 计算相应的实际输出；在此阶段信息从输入层经过逐级的变换，传送到输出层，这个过程也是网络在完成训练之后正常执行时执行的过程

② 第二阶段：后向传播阶段

• 计算实际输出与相应的理想输出的差

• 按照极小化误差的方法调整权值矩阵

  网络的训练过程如下：

1. 选定训练组，从样本集中分别随机地寻求N个样本作为训练组；

2. 将各权值、阈值，置成小的接近于0的随机值，并初始化精度控制参数和学习率；

3. 从训练组中取一个输入模式加到网络，并给出它的目标输出向量；

4. 计算出中间层输出向量，计算出网络的实际输出向量；

5. 将输出向量中的元素与目标向量中的元素进行比较，计算出输出误差；对于中间层的隐单元也需要计算出误差；

6. 依次计算出各权值的调整量和阈值的调整量；

7. 调整权值和调整阈值；

8. 当经历M后，判断指标是否满足精度要求，如果不满足，则返回(3)，继续迭代；如果满足就进入下一步；

9. 训练结束，将权值和阈值保存在文件中。这时可以认为各个权值已经达到稳定，分类器已经形成。再一次进行训练，直接从文件导出权值和阈值进行训练，不需要进行初始化。

八、经典网络介绍：

• LeNet-5

神经元个数=卷积核数量X输出特征图宽度X输出特征图高度
卷积层可训练参数数量=卷积核数量X（卷积核宽度X卷积核高度+1）（1表示偏置）
汇聚层可训练参数数量=卷积核数量X（1+1）（两个1分别表示相加后的系数和偏置，有的汇聚层无参数）
连接数=卷积核数量X（卷积核宽度X卷积核高度+1）X输出特征图宽度X输出特征图高度（1表示偏置）
全连接层连接数=卷积核数量X（输入特征图数量X卷积核宽度X卷积核高度+1）（输出特征图尺寸为1X1）

• AlexNet

• Inception网络

• 残差网络
• 

详细网络介绍可参考这篇:

卷积神经网络超详细介绍_呆呆的猫的博客-CSDN博客_卷积神经网络

CNN总结

本文学习参考资料：

水很深的深度学习-Task04卷积神经网络CNN_GoAl的博客-CSDN博客

CNN 的价值：

1. 能够将大数据量的图片有效的降维成小数据量(并不影响结果)
2. 能够保留图片的特征，类似人类的视觉原理

CNN 的基本原理：

1. 卷积层 – 主要作用是保留图片的特征
2. 池化层 – 主要作用是把数据降维，可以有效的避免过拟合
3. 全连接层 – 根据不同任务输出我们想要的结果

CNN 的实际应用：

1. 图片分类、检索
2. 目标定位检测
3. 目标分割
4. 人脸识别
5. 骨骼识别

九、RNN循环神经网络

RNN 的基本原理

传统神经网络的结构比较简单：输入层 – 隐藏层 – 输出层。如下图所示：

RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层中，一起训练。如下图所示：

本文参考资料：

​​​​​吴恩达老师深度学习课程笔记

卷积神经网络 — 动手学深度学习 2.0.0

不积跬步，无以至千里！-CSDN博客

五万字总结,深度学习基础。_AI浩-CSDN博客

深度学习入门笔记- 我是管小亮CSDN博客

以上未完待更新，仅供个人学习,侵权联系删除！