σ ( x ) = 1 1 + e − x \sigma(x)=\frac1{1+e^{-x}} σ(x)=1+e−x1
sigmoid函数好处
1. σ ( x ) \sigma(x) σ(x)的域值是[0,1] ,在(-∞, +∞)单调递增,很符合概率分布函数的特点
2.以 σ ( x ) \sigma(x) σ(x)为分布函数的概率密度函数在远离零点的位置概率趋近于0,这样比较符合现实生活中的一些规律,即在一定基准线上下浮动,大部分在基准线
3.不同于高斯分布, σ ( x ) \sigma(x) σ(x)比较容易求导,即 σ ( x ) ′ = σ ( x ) ( 1 − σ ( x ) ) \sigma(x)^{'}=\sigma(x)(1-\sigma(x)) σ(x)′=σ(x)(1−σ(x))对计算机比较友好
4. σ ( x ) \sigma(x) σ(x)同样也可以伸缩变换和平移,如
σ ( x ) = u 1 + e − x \sigma(x)=\frac{u}{1+e^{-x}} σ(x)=1+e−xu
u是上限阈值