本文重点
激活函数在神经网络中是必不可以缺少的东西，当我们创建一个神经网络的时候，我们需要决定使用哪种激活函数用在隐藏层上，哪种激活函数用在输出结点上，我们以前的课程中我们使用的都是sigmoid激活函数，除此之外还有其它激活函数。本文我们就介绍一下那些经常使用的激活函数。
tanh函数
一般情况下我们不使用sigmoid激活函数，因为它会有一些问题，我们可以使用双曲正切函数，tanh函数的图像如图所示：
它的值域在-1到+1之间，它的公式为：
在隐藏层上使用tanh，它在总体上都优于sigmoid激活函数，因为函数值域在-1 和+1的激活函数，其均值是更接近零均值的。在训练一个算法模型时，如果使用 tanh 函数代替sigmoid 函数中心化数据，使得数据的平均值更接近0而不是0.5。
所以现在基本不会使用sigmoid函数而是使用tanh函
