神经元激活函数

激活函数(Activation functions)，将非线性特性引入到网络中。如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。

引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

为什么要使用激活函数？

• 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。
• 激活函数可以引入非线性因素。如果不使用激活函数，则输出信号仅是一个简单的线性函数。线性函数一个一级多项式，线性方程的复杂度有限，从数据中学习复杂函数映射的能力很小。没有激活函数，神经网络将无法学习和模拟其他复杂类型的数据，例如图像、视频、音频、语音等。
• 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

为什么激活函数需要非线性函数？

• 假若网络中全部是线性部件，那么线性的组合还是线性，与单独一个线性分类器无异。这样就做不到用非线性来逼近任意函数。
• 使用非线性激活函数
  ，以便使网络更加强大，增加它的能力，使它可以学习复杂的事物，复杂的表单数据，以及表示输入输出之间非线性的复杂的任意函数映射。使用非线性激活函数，能够从输入输出之间生成非线性映射。

常用的激活函数

sigmoid 激活函数

其值域为 (0,1) 。函数图像：

特点：

• 能够把输入的连续实值变换为0和1之间的输出，特别的，如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1.

缺点：

• sigmoid函数曾经被使用的很多，近年来，用它的人越来越少了。主要是因为它固有的一些缺点。

缺点1：

• 在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大。首先来看Sigmoid函数的导数
  如下图所示：
  
  缺点2：
• 不是以0为对称轴（这点在tahn函数有所改善）

tanh激活函数

tanh读作Hyperbolic Tangent，它解决了Sigmoid函数的不是zero-centered输出问题，然而，梯度消失（gradient vanishing）的问题和幂运算的问题仍然存在。

其值域为 (-1,1) 。函数图像：

导数：$f^{\prime }(x)=1-(f(x){)}^2$
导函数图像：

优点：

• 解决了Sigmoid的输出不关于零点对称的问题
• 也具有Sigmoid的优点平滑，容易求导

缺点：

• 激活函数运算量大（包含幂的运算）
• Tanh的导数图像虽然最大之变大，使得梯度消失的问题得到一定的缓解，但是不能根本解决这个问题

Relu激活函数

保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。函数的定义为：$f(x)=max(0,x)$，值阈$[0,+\infty ]$。函数图像如下：

导数：

导函数图像：
优点：

• 相比起Sigmoid和tanh，ReLU在SGD中能够快速收敛，这是因为它线性（linear）、非饱和（non-saturating）的形式。
• Sigmoid和tanh涉及了很多很expensive的操作（比如指数），ReLU可以更加简单的实现。
• 有效缓解了梯度消失的问题。
• 在没有无监督预训练的时候也能有较好的表现。

缺点：

• ReLU的输出不是zero-centered
• Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生:
  (1)非常不幸的参数初始化，这种情况比较少见
  (2) learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。
  尽管存在这两个问题，ReLU目前仍是最常用的activation function，在搭建人工神经网络的时候推荐优先尝试！

原文链接：https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/116863273