神经网络表示

让我们来看一个最简单的神经网络，该神经网络只有三层，分别是输入层，隐藏层和输出层。

为了表示方便，我们把线性函数和非线性函数分开，神经网络可以画成如下：

其中φ(x)表示激活函数，我们知道神经网络算法就是为了拟合一个函数从而实现分类或回归等任务。由于前面只使用了线性函数，只能拟合线性函数，但在实际上很多任务的函数形态都是非线性的，所以激活函数的作用就是为了增加函数的非线性，这样就可以拟合任意函数了。

言归正传，整个函数可以写成：

$$\begin{array}{rl}{a}_1& =w_{11}{x}_1+w_{12}{x}_2+b_1\\ a_2& =w_{21}{x}_1=w_{22}{x}_2+b_2\\ z_1& =\phi (a_1)\\ z_2& =\phi (a_2)\\ y& =w_1{z}_1+w_2{z}_2+b\end{array}$$

梯度下降法

然后定义损失函数：$E=\frac{1}{2}(y-Y{)}^2$。其中Y为真实的label，y为预测值，现在我们的任务就是希望通过数据集，不断训练学习到一个函数使得这个损失函数最小。也就是要求$minE$时的$w,b$参数。

要求$minE$时的$w,b$参数，在神经网络算法中分为两个步骤，前向误差传播和反向误差传播，其中核心都是使用了梯度下降法。

使用梯度下降法，可以求解最小二乘问题，这还得从Taylor级数多起，对于多元函数$f(x)=f(x_1,x_2,x_3...)$而言，它的梯度（也就是所有偏导数写成向量的形式），可以写成
$$f(x{)}^{\prime }=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},\frac{\partial f}{\partial x_3}...)$$
该函数的Taylor级数为：
$$f(x)=f(x_0)+f(x_0{)}^{\prime }(x-x_0)+\frac{1}{2}(x-x_0{)}^{T}H(x-x_0)+O(|x-x_0{|}^3)$$

其中H为Hessian矩阵，由于二次项以及之后的高次项影响较小，求导麻烦，一般计算时会忽略。所以可写成这样：
$$f(x)=f(x_0)+f(x_0{)}^{\prime }(x-x_0)$$
上述式子表示在$x=x_0$这个位置上，$f(x)$函数可以近似写成右侧形式。
由于梯度方向是函数增长最快的方向，目标函数f(x)往往是误差函数，往往我们还会定义学习率$\eta$，每次下降一点点，若$\eta$太大会导致当前位置跳到另一侧较高点，迭代多次出现震荡，无法收敛。

于是，我们可以把刚刚的泰勒级数写成更新式：

$$x_1^{k+1}=x_1^k-\eta \frac{\partial f}{\partial x_1}{x}^k$$

$\frac{\partial f}{\partial x_1}$为当前点对所有需要学习参数的偏导的集合。

随机定义需要学习的9个参数值：{$w_{11},w_{12},w_{21},w_{22},w_1,w_2,b_1,b_2,b$}

采用sigmoid作为非线性激活函数。
$$f(net)=\frac{1}{1+e^{-net}}$$

其导数为：
$$f(net{)}^{\prime }=f(net)(1-f(net))$$

前向误差传播

神经网络根据输入x1,x2得到输出y，可以列出以下式子：

$$y=f(w_{11}{x}_1+w_{21}{x}_2+b1)\ast w_1+f(w_{12}{x}_1+w_{22}{x}_2+b2)\ast w_2+b$$

由于随机定义了需要学习的参数，输出y与真实标签Y有一定的差距。

令$E(w)=\frac{1}{2}(y-Y{)}^2=\frac{1}{2}(f(w_{11}{x}_1+w_{21}{x}_2+b1)\ast w_1+f(w_{12}{x}_1+w_{22}{x}_2+b2)\ast w_2+b-Y{)}^2$，要求得E(x)最小。
使用F(x)对各个参数求偏导令为0，再进行迭代，定义一个学习率，进行迭代。
$$\frac{\partial E}{\partial w_{11}},\frac{\partial E}{\partial w_{12}},\frac{\partial E}{\partial w_{21}},\frac{\partial E}{\partial w_{22}},\frac{\partial E}{\partial b_1},\frac{\partial E}{\partial b_2},\frac{\partial E}{\partial b}$$

比如说
$$\frac{\partial E}{\partial b_1}=f(w_{11}{x}_1+w_{21}{x}_2+b1)(1-f(w_{11}{x}_1+w_{21}{x}_2+b1))\ast w_1=0$$

再使用梯度下降法更新：

参考sigmoid的导数：$f(net{)}^{\prime }=f(net)(1-f(net))$，以此类推。

反向误差传播

回到刚才的误差准则函数：$E(w)=\frac{1}{2}(y-Y{)}^2$。这一次，要进行反向传播，那么先从输出开始看。

后向传播要做的事情，实际还是求出偏导数$\frac{\partial E}{\partial w},\frac{\partial E}{\partial b}$，来进行迭代。
怕大家忘了，重新搬出这张图：

下面涉及到公式就比较复杂了，但是不要慌，实际就是使用了链式法则来求，只要根据上图来，耐心地看完，就应该能看懂。

根据神经网络图，有：
$$\frac{\partial E}{\partial y}=(y-Y)$$

$$\frac{\partial E}{\partial a_1}=\frac{dE}{dy}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}=(y-Y)\ast w_1\ast f(a_1{)}^{\prime }$$
$$\frac{\partial E}{\partial a_2}=\frac{dE}{dy}\frac{\partial y}{\partial z_2}\frac{\partial z_2}{\partial a_2}=(y-Y)\ast w_1\ast f(a_2{)}^{\prime }$$

于是可以算出所有待求偏导数：
$$\frac{\partial E}{\partial b}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial b}=(y-Y)\ast 1$$

$$\frac{\partial E}{\partial w_1}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial w_1}=(y-Y)\ast z_1$$

$$\frac{\partial E}{\partial w_2}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial w_2}=(y-Y)\ast z_2$$

$$\frac{\partial E}{\partial w_{11}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial w_{11}}=(y-Y)\ast w_1\ast f(a_1{)}^{\prime }\ast x_1$$

$$\frac{\partial E}{\partial w_{12}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial w_{12}}=(y-Y)\ast w_1\ast f(a_1{)}^{\prime }\ast x_1$$

$$\frac{\partial E}{\partial b_1}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial b_1}=(y-Y)\ast w_1\ast f(a_1{)}^{\prime }\ast 1$$

$$\frac{\partial E}{\partial w_{21}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_1}\frac{\partial z_1}{\partial a_1}\frac{\partial a_1}{\partial w_{21}}=(y-Y)\ast w_1\ast f(a_1{)}^{\prime }\ast x_2$$

$$\frac{\partial E}{\partial w_{22}}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_2}\frac{\partial z_2}{\partial a_2}\frac{\partial a_2}{\partial w_{22}}=(y-Y)\ast w_2\ast f(a_2{)}^{\prime }\ast x_2$$

$$\frac{\partial E}{\partial b_2}=\frac{\partial E}{\partial y}\frac{\partial y}{\partial z_2}\frac{\partial z_2}{\partial a_2}\frac{\partial a_2}{\partial b_2}=(y-Y)\ast w_1\ast f(a_2{)}^{\prime }\ast 1$$

求出偏导数之后，进行迭代就完事了。

上面显示了一个简单的三层神经网络的前向传播与后向传播的公式推导，一般进行学习的时候，会把一个batch的数据往学习器里送，先进行一次前向传播，再进行一次后向传播，当训练完所有训练集，称之为一个epoch。有机会给大家推导一下一般形式的三层BP神经网络~