深度学习
- 1.神经网络原理
- 1.1神经元模型
- 1.2神经网络结构
- 1.3隐藏层
- 1.3.1激活函数层
- 1.4输出层
- 1.4.1softmax层
- 1.5损失函数
- 1.6反向传播
- 2.多层感知机
- 2.1线性网络的局限性
- 2.2引入非线性
- 2.3多层感知机(Multi-Layer Perceptron,MLP)
- 2.4激活函数(Activation Function)
- 2.4.1Sigmoid函数
- 2.4.2Tanh函数
- 2.4.3ReLU函数
- 2.4.4Softmax函数
- 3.前向传播和反向传播
- 3.1前向传播
- 3.2损失函数
- 3.3反向传播
- 3.3.1反向传播原理
- 3.3.2最小化损失函数
- 4.多层感知机代码实现
- 4.1MNIST数据集
- 4.2Pytorch搭建神经网络
- 4.2.1导入数据
- 4.2.2创建网络结构
- 4.2.3定义损失函数
- 4.2.4创建优化器
- 4.2.5训练模型
- 4.2.6测试模型
- 4.2.7保存模型参数
- 5.回归问题
- 5.1一元线性回归
- 5.2多元线性回归
- 5.3多项式回归
- 5.4线性回归代码实现
- 5.4.1数据生成
- 5.4.2设置超参数
- 5.4.3初始化参数
- 5.4.3开始训练
- 5.4.4可视化
- 5.4.5利用Pytorch实现线性回归
- 6.分类问题
- 6.1分类任务的定义
- 6.2机器学习算法流程
- 6.3多分类问题的数学表示
- 6.4Softmax回归
- 6.4损失函数
- 6.4.1对数损失函数
- 6.4.2交叉熵损失函数
- 7.多分类问题代码实现
- 7.1加载MNIST数据集
- 7.2数据加载器
- 7.3构建网络
- 7.4定义损失函数和优化器
- 7.5模型评估
- 7.6模型训练
1.神经网络原理
1.1神经元模型
神经网络是一种数学模型,下图是一个最简单的神经元,通常用带有输入输出的圆圈来表示,虽然其名为神经元,但是其内在是线性模型。
神经元模型用数学公式表示为 y = f ( ∑ i = 1 n