1.激活函数由来

科学家对青蛙的神经元进行研究的时候发现，只有超过一定的阈值青蛙才会有反应，因此不能将多个输入做简单的加权平均，而需要一个阶梯函数也就是激活函数，激活的概念也就是

单层感知机阶梯函数不连续，因此不可导
计算机神经元模型

2. 常见激活函数

2.1 Sigmoid

为了解决阶梯函数不可导的问题，科学家发明了sigmoid激活函数，sigmoid的值范围(0,1)
sigmoid常用于0~1的概率问题以及颜色RGB值的表示
sigmoid函数当x值趋于正无穷时，函数值接近1导数为0使得梯度一直得不到更新，从而产生梯度弥散的问题

梯度推导

2.2 Tanh

Tanh多用于循环神经网络RNN，Tanh值的范围为[-1,1]

梯度推导

2.3 relu

relu函数是目前用的最多的激活函数，当x<0时导数为0，x>0时导数为1，函数值x<0时为0，x>0时线性变换。
relu梯度在x>0时是1，使得梯度计算时，梯度不会放大也不会缩小，因此不容易出现梯度弥散和梯度爆炸的情况