一、深度学习概述

1. 深度学习概念

1-1. 深度学习基本概念

• 深度学习是机器学习的一个分支
• 基于人工神经网络（模仿人脑结构）
• 通过多层网络自动学习特征
• 能够处理复杂的模式识别问题

1-2. 深度学习的优点与缺点

优点

• 强大的特征学习能力
• 可以处理复杂问题
• 准确率高
• 自动化程度高

缺点

• 需要大量数据
• 计算资源要求高
• 训练时间长
• 可解释性差

1-3. 深度学习与传统机器学习区别

主要区别在于：传统机器学习是人工进行特征提取，深度学习是通过神经网络从数据里提取特征。

对比维度	机器学习	深度学习
特征提取	• 需要人工设计特征 • 依赖领域专家经验 • 特征工程占据大量工作	• 自动学习特征 • 端到端学习 • 减少人工干预
举例说明	图像识别猫： • 人工定义特征：耳朵形状、胡须特征等 • 手动提取这些特征 • 基于提取的特征进行分类	图像识别猫： • 直接输入原始图像 • 网络自动学习关键特征 • 自动完成特征提取到分类的全过程
数据要求	• 数据量要求相对较小 • 可以处理结构化数据	• 需要大量数据 • 特别适合非结构化数据
计算复杂度	• 计算量较小 • 训练速度快	• 计算量大 • 训练周期长

2. 深度学习框架

2-1 深度学习框架定义

深度学习框架是一个软件库，提供了构建、训练和部署深度学习模型所需的工具和接口。它是连接理论与实践的桥梁，使开发者能够更高效地实现深度学习算法。

2-2 TensorFlow框架

利用数据流图进行数值计算的开源软件库；

可以在众多异构的系统上方便移植；

2-3 Torch 框架

很好的学习RNN途径

2-4 PyTorch 框架

2-5 Caffe框架

2-6 框架的选择

特点	TensorFlow	Torch	PyTorch	Caffe
开发公司/组织	谷歌 (Google)	Facebook 人工智能研究院 (FAIR)	Facebook 人工智能研究院 (FAIR)	伯克利 AI 研究中心 (BAIR)
首次发布	2015年	2002年（Lua Torch）	2016年	2014年
编程语言	Python、C++、Java、Go 等	Lua	Python、C++	C++
模型构建方式	静态计算图（TF 1.x），动态计算图（Eager Execution, TF 2.x）	动态计算图	动态计算图	静态计算图
易用性	中等，使用 Keras 可以简化模型构建	较低，基于 Lua 语言，学习曲线较陡峭	高，API 简洁直观，易于调试	中等，模型定义需编写配置文件
性能	高，支持 GPU 和 TPU，加上分布式训练	中等，性能依赖于 Lua 的效率	高，优化良好的动态计算图，支持 GPU 和分布式训练	高，专注于图像处理任务，优化良好
生态系统	丰富，包含 TensorFlow Hub、TensorFlow Lite、TensorFlow.js 等	较小，社区活跃度不及 PyTorch 和 TensorFlow	丰富，包含 TorchVision、TorchText、TorchServe 等	较小，主要集中在视觉任务
社区和支持	广泛的社区支持，丰富的文档和教程	社区较小，主要集中在研究人员和特定领域	活跃且快速增长的社区，丰富的第三方资源	社区规模较小，主要用于特定应用场景
应用领域	广泛，涵盖计算机视觉、自然语言处理、强化学习等	主要用于计算机视觉和自然语言处理	广泛，涵盖研究和生产环境中的各种应用	主要集中在计算机视觉领域
调试和可视化工具	TensorBoard 提供强大的可视化支持	限制较多，缺乏统一的可视化工具	支持通过第三方工具如 TensorBoardX 进行可视化	基本的可视化工具，功能有限
移动和嵌入式支持	TensorFlow Lite 提供优秀的支持	支持有限，主要依赖第三方集成	支持通过 PyTorch Mobile	支持通过 Caffe2（现已合并入 PyTorch）
学习资源	丰富的官方教程、文档和在线课程	Lua 资源相对较少，需依赖社区贡献	丰富的官方教程、文档和社区资源	资源较少，主要依赖官方文档和社区贡献
扩展性	高，支持自定义操作和模块	高，基于 Lua 可灵活扩展	高，易于定义自定义层和模块	中等，扩展需通过配置文件进行

3 神经网络

3-1 神经网络基础

3-2 神经网络租车

4. 激活函数

4-1 激活函数定义：

• 激活函数是一种在人工智能神经网络的神经单元桑运行的函数
• 激活函数是神经网络中引入非线性变换的数学函数
• 旨在帮助网络学习数据中的复杂模式
• 负责将神经元节点的输入映射到输出端。
• 用于决定神经元是否应该被激活。

4-2 常见激活函数：

Sigmoid激活函数

ReLU

Tanh

4-3 sigmoid激活函数

 4-4 Tanh激活函数

 4-5 ReLU激活函数

二、多层感知机

1. 感知机概述

2. 多层感知机

2-1 多层感知机概述

多层感知机是一种前馈神经网络,是最基础和经典的深度学习模型之一。

多层感知机由三类层构成:

• 输入层:接收原始数据
• 隐藏层:可以有一层或多层,负责特征提取和转换
• 输出层:产生最终预测结果

多层感知机主要特点:

• 每层神经元都与下一层全连接
• 使用非线性激活函数(如ReLU、sigmoid等)
• 通过反向传播算法训练
• 可以用于分类和回归问题

3. BP神经网络

类别	说明
基本定义	BP(Back Propagation)神经网络是一种基于误差反向传播算法的多层前馈神经网络
工作原理	前向传播： • 输入数据从输入层向前传递 • 经过隐藏层处理 • 最终在输出层产生结果 反向传播： • 计算实际输出与期望输出的误差 • 误差从输出层向输入层反向传播 • 不断调整网络权重和偏置
学习过程	1. 初始化网络权重和偏置 2. 输入训练样本 3. 计算实际输出 4. 计算误差 5. 反向传播更新参数 6. 重复步骤2-5直到满足条件
主要特点	• 具有非线性映射能力 • 自学习和自适应能力 • 泛化能力强 • 容错性好
关键参数	• 学习率 • 隐藏层数量 • 每层神经元数量 • 激活函数 • 迭代次数
优点	• 适用性广 • 拟合能力强 • 可以解决复杂的非线性问题
缺点	• 可能陷入局部最小值 • 训练时间可能较长 • 网络结构难以确定 • 可能出现过拟合
应用领域	• 模式识别 • 预测分析 • 图像处理 • 语音识别 • 自动控制

三、卷积神经网络

1. 卷积神经网络概述

2. 卷积神经网络层次结构

2-1 输入层

 2-2 卷积层

 2-3 池化层

2-4  全连接层

 2-5 输出层

3. 经典卷积神经网络 

4. 卷积神经网络的应用 

四、循环神经网络

1.

2. 循环神经网络的结构

3. 循环神经网络的类别

4 经典循环神经网络

4-1 长短期记忆网络 LSTM

4-2 LSTM的核心

• Ct 为长期记忆
• ht 为短期记忆

4-3 LSTM的流程

 5. 循环神经网络的应用

• 处理序列数据问题

五、生成对抗网络

1.  生成对抗网络概述

GAN通过两个神经网络——生成器（Generator）和判别器（Discriminator）——之间的对抗训练，实现数据的生成与逼真化。

2. 生成对抗网络主要组成部分

• 生成器（Generator）：

  • 功能：负责生成看似真实的假数据。
  • 输入：通常为随机噪声向量（如高斯噪声）。
  • 输出：与真实数据相同维度的合成数据（例如图像）。
  • 给定输入数据时，理解输入，生成类似的输出。

• 判别器（Discriminator）：

  • 功能：判断输入的数据是真实的还是由生成器生成的假数据。
  • 输入：真实数据和生成器生成的假数据。
  • 输出：一个介于0和1之间的概率值，表示输入数据为真实数据的概率。

生成器通过带噪声的数据生成了假的图像，判别器通过训练集和假的图像 识别真假。生成器和判别器通过这个过程不断进步。

2-2 GAN的优化目标

• 生成器的目标：

  • 生成逼真数据：生成器的主要任务是从随机噪声中生成看似真实的数据（如图像、音频等）。
  • 欺骗判别器：通过不断改进，生成器希望生成的数据能够以假乱真，使判别器难以区分其生成的数据和真实数据。

• 判别器的目标：

  • 区分真假数据：判别器的任务是准确判断输入的数据是真实的还是由生成器生成的。
  • 提高辨别能力：通过不断学习，判别器提升其区分真实数据和生成数据的能力。

2-3 最终目标

• 平衡状态：在理想情况下，GAN 达到一种平衡状态，即生成器生成的数据与真实数据在统计分布上难以区分，判别器在判断时只能给出接近 50% 的概率。

• 优化生成器：尽管判别器在训练过程中不断优化，但最终的目标是生成器能够独立生成高质量、逼真的数据。这意味着即使判别器不再参与，生成器依然能够产生令人信服的合成数据。

 3. 生成对抗网络工作流程

生成器生成的样本作为假的样本，接收样本为真的样本，目的 使生成器生成的样本更逼近真的样本，同时提高判别的器的性能。

3-2 对抗性优化过程

• 对抗训练：GAN 的训练过程本质上是一个博弈，生成器和判别器互相竞争。生成器试图生成更逼真的数据以“欺骗”判别器，而判别器则努力提升辨别真假数据的能力。

• 交替优化：

  • 训练判别器：使用真实数据和生成器生成的假数据来训练判别器，使其更好地区分二者。
  • 训练生成器：通过反馈判别器的判别结果，调整生成器的参数，使其生成的数据更加逼真。

4. 生成对抗网络 与传统神经网络的区别

 5. 生成对抗神经网络类别

6. 生成对抗网络应用场景

六、机器学习PAI平台简单实现