深度学习领域最近发展很快，前一段时间读transformer论文《Attention Is All You Need》时，被一些神经网络和深度学习的概念搞得云里雾里，其实也根本没读懂。发现深度学习和传统的软件开发工程领域的差别挺大，光读论文可能不是一条很好了解深度学习的路径。所以我换了一个思路，从开源的项目入手，当时我研究了一段时间ggml项目代码(https://github.com/ggerganov/ggml) , 但实际的难度还是太过陡峭，主要的困难来源于数学推导和神经网络本身的特殊性。为了更全面的了解深度学习领域，最后我选择从基础的系统知识和书籍入手, 在阅读《Neural Networks and Deep Learning》这本书时，正好书中是通过设计一个手写识别程序来讲解神经网络，书中的例子是用python实现的，其中用了不少机器学习库，屏蔽了很多细节。于是萌生了自己用C写一个手写识别程序想法。

要用C不依赖第三方库写一个神经网络，需要从数学推导、网络模型和工程实现三个方面着手。项目本身没有什么价值，只是个人学习神经网络一个小玩具。
代码地址：https://github.com/yuanrongxi/simple-neural-network.git

神经网络涉及到的数学主要是线性代数和微积分求导，神经网络中的计算大部分是通过矩阵来完成的，首先需要弄明白标量、向量、张量等概念，掌握基本的矩阵运算，例如：空间转置、加减乘除、点积、reshape等，线性代数推荐看《Linear Algebra an Its Applications》，了解基本的向量空间和运算即可，如果想更直观可以看https://github.com/kf-liu/The-Art-of-Linear-Algebra-zh-CN/blob/main/The-Art-of-Linear-Algebra-zh-CN.pdf。积分求导主要是针对神经网络的反向传播，因为在神经网络推导时会用各种激活函数、softmax、卷积、pooling max、norm、flatten等数据操作，反向传播的过程的梯度下降算法需要对这些操作进行反向求导，所以需要清楚各个函数求导过程和代价函数概念，求导更详细的可以看B站上的《跟着李沐学AI》。

网络模型涉及到神经元和感知机的概念，通过编排神经元和激活函数构建网络分层，这个《Neural Networks and Deep Learning》中讲的比较清楚。网络模型可以理解成一堆weight(权重)/bais(偏置)加一堆的y = w.x+b的函数，但它分为正向传播(feedforward)和反向传播(backprop)，正向传播就是推理，反向传播就是求权重和偏置参数。因为反向传播过程是一个利用梯度下降求导的过程，理解起来会有些困难，https://builtin.com/machine-learning/backpropagation-neural-network 对反向传播总结的非常好，通俗易懂。最后CNN模型选择参照了YanLeCun的LeNet（图-1），保留第一个卷积层，去掉了中间的卷积层。

工程实现方面参照了NumPy的思路，将涉及到矩阵运算、激活函数、反向求导等做成一个独立的矩阵运算模块，这样做的好处是可以对专门的运算做优化，后面也方便加入GPU和CUDA做尝试。其次设计了一个run state机制，因为神经网络在推理和训练时，会有很多的中间数据，这些数据有些是临时的，有些是反向传播依赖的。为了避免频繁内存分配，在创建NN时将所有用到的对象统一分配，中间数据的矩阵flatten也是零拷贝。关于CPU并行计算上，采用了openmp进行简单的矩阵并行处理，加快训练速度，所以在矩阵运算代码中用了大量的数组下标寻址，没有使用更快的指针，后面CPU上可以尝试SSSE3/simd128采用多线程分任务优化。最后神经网络是难于调试的，往往逻辑流程运行正确，但训练出来的结果不达预期，和传统的系统工程差别大。在实现中采用了对所有数学代码进行单元测试，并逐一对照相对应的pytorch运行结果，确保数学上正确，这样做大大减轻了神经网络的调试难度。值得一提的是程序设计后期借助了cursor AI代码工具，效率是前期的4~5倍左右。

来看一下程序的效果，采用的是MNIST的数据集，6万张训练图片和1万张测试图片，训练和测试30轮，多层感知机网络的识别准确度在95%左右，CNN网络的准确度在98%左右。执行时间CNN是多层感知机的20倍左右。

整个程序的开发设计断断续续用了4个周末的时间，实现难度一般，过程有些简单的认识:

1. 之所以Python成为深度学习界的标准开发语言，是因为它有很多强大的库和平台，像NumPy、Pytorch、Keras等，写一个神经网络可能只需几十行代码，简单高效，其他语言无可匹及。业界正在研究基于Python语言的编译技术，这可能是未来重要的方向之一。

2. 深度学习与传统软件工程差别大，传统软件工程是建立的逻辑学层面的工程体系，只要逻辑性强从事软件开发不是难事，所以行业内人员参差不齐。AI和深度学习领域有自己独立的知识体系，而且更多是要依靠数学推导和模型设计，工程实现也更偏CPU/GPU相关的编程，逻辑在其中起的作用有限，AI这个领域不太可能出现从培训机构出来就业的人员。传统软降工程也走到一个阶段了，软件工程的需求正在从传统的工程领域快速迁移到深度学习领域。

3. 深度学习的计算分为推理和训练，随着网络模型的发展计算将越来越重。训练的计算量会因为成本越来越高会出现更高效的芯片和分布式计算网络。而推理计算由于安全和场景需要，可能会越来越终端化，而且推理的计算量未来是训练计算量的万倍甚至更多，会催生出新的工程领域，例如ggml。

4. AI发展很快，很多面向程序员的工具，像github copilot、cursor等，生成的代码未必可直接使用，但能够加快从概念到代码的过程，合理使用AI工具可以更快的进入陌生领域。

科技正在大力向前，它已不再朝我而来，我唯一能做的是调整自己的位置来跟上它的步伐。