在深度残差收缩网络中,使用Sigmoid函数将输出归一化到0和1之间是为了确保阈值α的取值范围在可接受的范围内。Sigmoid函数具有将任意输入映射到(0, 1)区间的特性,这有助于控制阈值的大小和变化范围。
将阈值设置为(特征图的绝对值)×(一个系数α)是基于以下考虑:
-
特征图的绝对值:取特征图的绝对值是为了消除负值对阈值的影响,确保阈值始终为正数。在深度学习中,特征图的负值通常表示某种程度的抑制或反向激活,但在阈值化过程中,我们更关心的是特征的强度或重要性,而不是其方向性。
-
系数α:通过Sigmoid函数归一化后得到的系数α,可以视为一个动态的、数据驱动的权重。这个权重根据网络的输入和训练过程自适应地调整,使得每个特征图可以拥有不同的阈值。这种自适应的阈值设置方式有助于网络更好地适应不同数据的特性,提高特征学习的灵活性和准确性。
通过将特征图的绝对值与系数α相乘,我们得到了一个既考虑了特征强度又考虑了数据特性的阈值。这个阈值用于软阈值化操作中,帮助网络消除那些不重要的特征,同时保留对任务结果有重要贡献的特征。