在深度学习领域,transformer可以说是在传统的神经网络的基础上发展而来,着重解决传统神经网络长距离关联、顺序处理、模型表达能力等问题。
在学习transformer之前,我想,有必要先对传统的神经网络做简要的了解。
一、神经网络基本结构
输入层: 神经网络的第一层,直接接收原始输入数据,传递到隐藏层。
隐藏层: 位于输入层和输出层之间,可以有一个或多个隐藏层,多层隐藏层逐步提取更高层次的抽象特征。
输出层: 最后一层,负责生成最终的预测结果。
下面以CNN(卷积神经网络)为例,大致说明下各层间的关系:
1.1、从原始数据到输入层
假设一张经过灰度处理的数字6、大小N * N个像素的图片,每个像素点的取值经过归一化处理(取值0-1),将N * N个像素点展开成神经网络输入层的每个神经元。
1.2、隐藏层特征提取
- 当输入层的各个节点数据传输到第一个隐藏层时,提取多个最基础的形状特征的神经元,
- 这些神经元在传输给第一个隐藏层后,第二个隐藏层提取更高层次的形状或物体结构。也就是更高层次的特征。
- 最后,第二个隐藏层的神经元通过权重计算,给每个输出层的特征节点赋值,取值最高的特征节点,就是输入图片最终匹配的预定特征。
那么,每层之间的数据传递到底是怎样的?我们以输入层到第一个隐藏层为例:
- 设n = N*N ,那么输入层就有a0-an 个神经元,每个连线代表输入层每个输入对下一层某个神经元的权重,n个输入就有n个权重(全连接的情况,全连接就是每个输入都对下一层的每个节点有影响)。
- 那么下一层的单个神经元就等于上一层所有神经元的加权和,即 :
a0ω0 + a1ω1 + … +an*ωn
- 在识别特征过程中,可能需要对不明显的特征进行过滤,这也就要求加权和需要大于某个数,这个值我们称之为偏置量,在线性表达上,偏置可以是模型更好拟合数据,可以表示不仅仅穿过原点的线性关系。
(a0ω0 + a1ω1 + … +an*ωn ) +(-b)
- 当然,有时为了优化模型的表达,比如提高收敛速度、避免梯度消失,需要将下一层神经元的取值限制在有界范围,这时候需要通过激活函数做一些非线性的操作,比如使用SIGMOD函数,将值域限定在(0,1):
σ((a0ω0 + a1ω1 + … +an*ωn ) +(-b)) f = σ(…)为激活函数
上面仅仅是表示了第二层的一个神经元的计算,那第二层所有的神经元该如何表达:
加上偏置和激活函数表示如下:
后面隐藏层到输出层,结构也类似。通过线性表达则是:
y = W* a + b; 其中y为输出矩阵,W为权重矩阵,a为输入矩阵,b为偏置矩阵
那么W和b 如何而来,当然是通过大量的数据训练而来,后面我们将逐步学习如何通过损失函数训练,
二、损失函数
以最后一个隐藏层到输出层为例:假定这个过程的权重矩阵初始化为W,偏置初始化为b,预测值为y′。那么真实值y与预测值之间的误差就可以如下表示(以均方差为例):
假设10个样本:
更一般的表示: MSE= 1 n ∑ i = 1 n ( y ′ i − y i ) 2 \frac{1}{n} ∑_{i=1}^{n} (y′_i - y_i )^2 n1∑i=1n(y′i−yi)2 或 L = 1 n ( y ′ − y ) 2 \frac{1}{n}(y′ - y)^2 n1(y′−y)2
n为样本数量
除了均方差损失函数,常用的损失函数还有交叉熵损失函数,通常用于多分类概率分布:
二分类可以看做多分类的一种特例:
三、梯度下降法与反向传播
3.1 利用损失函数求梯度
得到损失函数后,我们得根据损失函数反向推导哪个权重影响比较大,权重矩阵就重点关注影响损失函数较大的权重:
那回到损失函数MSE= 1 n ∑ i = 1 n ( y ′ i − y i ) 2 \frac{1}{n} ∑_{i=1}^{n} (y′_i - y_i )^2 n1∑i=1n(y′i−yi)2 ,则是对其关于W和b求偏导以获取梯度,梯度越大,斜率越大,对误差影响越大。
由于 y′ = W* a + b ,因此关于W和b求偏导,是个复合函数求偏导:
关于W的梯度: ∂ M S E ∂ W = ∂ M S E ∂ y ′ ∗ ∂ y ′ ∂ W = 2 n ∑ i = 1 n ( y ′ i − y i ) ∗ a T \frac{\partial MSE}{\partial W} =\frac{\partial MSE}{\partial y′} * \frac{\partial y′}{\partial W} = \frac{2}{n} ∑_{i=1}^{n} (y′_i - y_i ) * a^T ∂W∂MSE=∂y′∂MSE∗∂W∂y′=n2i=1∑n(y′i−yi)∗aT
对于单个y’(即单行W与单列a的内积,忽略偏置) 基于W求偏导,得到的应该是1行n列的矩阵,由于a是n行一列的矩阵,因此需要对a做转置处理,例如:
对 ω 0 求导: ∂ y ′ ∂ ω 0 = ∂ a 0 ∗ ω 0 + a 1 ∗ ω 1 + . . . . . . + a n ∗ ω n ω 0 = a 0 对ω0求导:\frac{\partial y′}{\partial ω0} =\frac{\partial a0*ω0 + a1*ω1 + ...... +an*ωn}{ω0} = a0 对ω0求导:∂ω0∂y′=ω0∂a0∗ω0+a1∗ω1+......+an∗ωn=a0
对 ω 1 求导: ∂ y ′ ∂ ω 1 = ∂ a 0 ∗ ω 0 + a 1 ∗ ω 1 + . . . . . . + a n ∗ ω n ω 1 = a 1 对ω1求导:\frac{\partial y′}{\partial ω1} =\frac{\partial a0*ω0 + a1*ω1 + ...... +an*ωn}{ω1} = a1 对ω1求导:∂ω1∂y′=ω1∂a0∗ω0+a1∗ω1+......+an∗ωn=a1
对 ω n 求导: ∂ y ′ ∂ ω n = ∂ a 0 ∗ ω 0 + a 1 ∗ ω 1 + . . . . . . + a n ∗ ω n ω n = a n 对ωn求导:\frac{\partial y′}{\partial ωn} =\frac{\partial a0*ω0 + a1*ω1 + ...... +an*ωn}{ωn} = an 对ωn求导:∂ωn∂y′=ωn∂a0∗ω0+a1∗ω1+......+an∗ωn=an
因此 ∂ y ′ ∂ W = [ a 0 , a 1 , . . . , a n ] = a T 因此\frac{\partial y′}{\partial W} = [ a0,a1,...,an] = a^T 因此∂W∂y′=[a0,a1,...,an]=aT
多行W与多列a以此类推。
关于b的梯度:
∂ M S E ∂ b = 2 n ∑ i = 1 n ( y ′ i − y i ) \frac{\partial MSE}{\partial b} = \frac{2}{n} ∑_{i=1}^{n} (y′_i - y_i ) ∂b∂MSE=n2i=1∑n(y′i−yi)
因此根据求解的梯度,反向传播,使用梯度下降法修改权重与偏置矩阵:
权重梯度调整: W = W − η ∂ M S E ∂ W 权重梯度调整:W = W - η \frac{\partial MSE}{\partial W} 权重梯度调整:W=W−η∂W∂MSE
偏置梯度调整: b = b − η ∂ M S E ∂ b 偏置梯度调整:b = b - η \frac{\partial MSE}{\partial b} 偏置梯度调整:b=b−η∂b∂MSE
η表示学习率(步长),η越大,收敛速度越快,但是越容易错过最佳值,η越小收敛速度越慢。
通过多轮训练优化,最终得到能够准确预测的权重矩阵。
看公式可能很头疼,码农肯定看代码更容易理解:
import numpy as np# 定义均方差损失函数
def mean_squared_error(y_true, y_pred):return np.mean((y_true - y_pred) ** 2)# 定义均方差损失函数的梯度
def mse_gradient(y_true, y_pred, X):n = len(y_true)gradient_w = 2 * np.dot(X.T, (y_true - y_pred)) / ngradient_b = 2 * np.mean(y_true - y_pred)return gradient_w, gradient_b# 示例数据
X = np.array([[1, 2], [2, 3], [3, 4], [4, 5]]) # 输入特征
y_true = np.array([2, 3, 4, 5]) # 真实值
w = np.array([0.5, 0.5]) # 初始权重
b = 0.0 # 初始偏置# 计算预测值
y_pred = np.dot(X, w) + b# 计算均方差损失
mse = mean_squared_error(y_true, y_pred)
print("Mean Squared loss:", mse)# 计算梯度
gradient_w, gradient_b = mse_gradient(y_true, y_pred, X)
print("Gradient of weights:", gradient_w)
print("Gradient of bias:", gradient_b)
3.2 交叉熵损失函数
均方差相比比较好理解,但是对于概率等较小的预测值,反应不灵敏,有时不能有效反应误差,如何对较小的值如(0,1)更好的做损失分析呢,聪明的你肯定可以想到用log(x):
但从取现观察看,在x∈(0,1)时,x越小,斜率的绝对值越大,说明log(x)对越小的值越敏感,从概率考虑,也就说,概率越小的事件,越不该发生,发生了越应该被注意到,越应该调整它的权重,减少它对误差的影响。
交叉熵损失函数,就是应用了这一原理。交叉熵损失函数应用在softmax()处理后形成了概率分布的输出层,softmax处理后的输出即为预测的概率分布。这里不对交叉熵损失函数求梯度做进一步学习。
3.3优化器
在我们实际的开发过程中,可以直接使用torch提供的优化器完成反向传播梯度优化。
常见的优化器有如下SGD(随机梯度)、动量(Momentum)、RMSProp、Adam等几种,极大方便模型开发训练工作,后续有机会再认真学习优化器的原理。再第五章的示例代码中,也将简单应用优化器完成模型训练。
四、激活函数
激活函数主要非线性的操作,用来对神经元的输出限制值域,以求模型有更好的表现力,能够更好学习拟合复杂的线性关系,解决梯度消失,平滑分布,矩阵稀疏等问题。
以下是常见的一些激活函数和使用场景:
4.1 SIGMOD函数
σ(x) = 1 1 + e − x \frac{1}{1+e^{-x}} 1+e−x1
特点: 输出范围(0,1),可用于表示二分类概率,也可用于平滑梯度,但在两端附近的值梯度趋零,易导致梯度消失,因此深层网络通常采用ReLU函数。
4.2 ReLU函数
f(x)=max(0,x)
特点: 输出范围在 [0, ∞) 之间,对于正输入值保持不变,有助于缓解梯度下降;而对于负输入值输出为0。可以产生稀疏激活,对于负输入值,输出为0,减少模型的复杂度和过拟合风险,但也会导致输出为0的神经元,后续不会再被激活。因此可引入ReLU函数的变体,如:
f(x)=max(αx,x); α通常取非常小的正数,如0.01
当然还有如Tanh 函数、Softmax 函数、ELU 函数等激活函数,这里就不一一介绍了。Softmax 函数主要用来生成概率分布,在自注意力机制中也有用到,到时再单独做简要说明。