Sigmoid函数和Softmax函数都是常用的激活函数，但它们的主要区别在于应用场景和输出结果的性质。
-
Sigmoid函数（也称为 Logistic函数）：
Sigmoid函数将输入值映射到0到1之间的连续实数范围，通常用于二元分类问题。
Sigmoid函数的公式为：
它的输出可以看作是一个概率值，表示某一事件发生的概率。在二元分类问题中，Sigmoid函数通常用于输出层，将模型的原始输出（通常是对数几率）转化为概率值，然后可以使用一个阈值来决定分类结果。
-
Softmax函数：
Softmax函数将输入值映射到多个类别上的概率分布，通常用于多类别分类问题。
Softmax函数的公式为：
它的输出是一个概率分布，其中每个类别都有一个概率值，这些概率值的总和等于1。在多类别分类问题中，Softmax函数通常用于输出层，帮助模型将原始输出转化为类别概率分布，以便选择最有可能的类别。
-
总结一下：
Sigmoid函数主要用于二元分类，输出是单一的0到1的概率值。
Softmax函数主要用于多类别分类，输出是多个类别的概率分布，概率值之和为1。
两者都用于将模型的原始输出映射到概率空间，以便进行分类决策。选择使用哪个函数取决于您的任务和模型架构。
-
举个例子
例子：图像分类
假设您正在构建一个图像分类模型，该模型需要将输入的图像分为两个类别：猫和狗。
-
使用Sigmoid函数：
- 如果您选择在输出层使用Sigmoid函数，那么您的模型将输出一个单一的0到1之间的值。对于给定的输入图像，模型的输出将表示该图像属于“猫”类别的概率。
- 例如，如果模型的输出为0.8，那么您可以解释为这张图像有80%的概率是猫，20%的概率是狗。您可以设置一个阈值（例如0.5），如果输出大于阈值，则将图像分类为猫，否则分类为狗。
-
使用Softmax函数：
- 如果您选择在输出层使用Softmax函数，那么您的模型将输出一个包含两个概率值的概率分布，其中一个概率对应于“猫”类别，另一个概率对应于“狗”类别。
- 例如，如果模型的输出为[0.7, 0.3]，那么这表示模型认为这张图像属于“猫”类别的概率为70%，属于“狗”类别的概率为30%。您可以选择概率最高的类别作为分类结果，即将图像分类为猫。
