第一章 神经网络是如何实现的
这些神经网络越来越复杂，都是用BP算法求解。网络有些变化就可能需要重新推导，而在实验过程中可能会做很多尝试，这样每次都重新推导BP算法太麻烦了。
十、深度学习框架
- 现在有了很多深度学习框架，这些框架是专门为搭建各种神经网络设计的，只要设计好了神经网络，框架就可以自动实现BP算法，不需要自己推导了。
常用的深度学习框架
- 很多公司设计了很多不同的框架，目前用的比较多的有TensorFlow、PyTorch、Keras等，近几年国内也推出了一些框架，比如百度公司的飞桨（paddlepaddle）、一流科技公司的OneFlow等，都是可以选用的框架。这些内容涉及很多编程的内容，而且一直在发展中。
十一、总结
神经网络应用问题
-
以一个简单的数字识别引出了什么是神经元，什么是神经网络。
-
详细介绍了神经元的结构以及全连接神经网络，并以如何调节热水器为例，讲解了神经网络训练的基本原理和BP算法。
-
介绍了神经网络训练中可能会遇到的过拟合问题、梯度消失问题，以及常用的解决方法。
-
介绍了什么是卷积神经网络，并列举了一些具体用例。
-
介绍了什么是循环神经网络，并列举了一些具体用例。
-
简单说明了深度学习框架。
十二、（补）BP算法推导
1. 反向传播（BP）算法推导
2. 复合函数求导的链式法则
3. 符号说明
4. 梯度计算 – 输出层
5. 梯度计算 – 隐藏层
6. 梯度计算
7. BP算法（随机梯度下降版）
