SpikeYOLO:高性能低能耗目标检测网络
- 前言
- 解释
- 介绍
- 相关工作
- 论文提出的方法
- 网络输入
- SpikeYOLO架构
- 概述
- 网络输出
- 宏观设计
- 微观设计
- I-LIF脉冲神经元
- LIF
- I-LIF
- 实验
- 代码
前言
脉冲神经网络(Spiking Neural Networks, SNNs)具有生物合理性和低功耗的优势,相较于人工神经网络(Artificial Neural Networks, ANNs)。然而,由于性能较差,目前 SNNs 的应用仅限于简单的分类任务。
在这项工作中,我们专注于缩小 SNNs 和 ANNs 在物体检测任务上的性能差距。我们的设计围绕网络架构和脉冲神经元展开。
首先,YOLO 系列在转换为对应的脉冲版本时,由于模块设计过于复杂,导致了脉冲退化。为了解决这个问题,我们设计了一种 SpikeYOLO 架构,通过简化原始 YOLO 并引入元 SNN 模块来解决这一问题。
其次,在脉冲神经元将膜电位转换为二进制脉冲的过程中,物体检测对量化误差更加敏感。为了解决这个挑战,我们设计了一种新型脉冲神经元,在训练过程中激活整数值,并通过扩展虚拟时间步长在推理过程中保持脉冲驱动。该方法在静态和神经形态物体检测数据集上进行了验证。
在静态 COCO 数据集上,我们获得了 66.2% mAP@50 和 48.9% mAP@50:95,分别比之前最先进的 SNN 高 15.0% 和 18.7%。 在神经形态 Gen1 数据集上,我们实现了 67.2% mAP@50,比具有同等架构的 ANN 高出 2.5%,并且能量效率提高了 5.7 倍。
解释
(1)低功耗
由于神经元只有在特定条件下才会发放脉冲,这种机制使得 SNNs 的活动非常稀疏。这种稀疏性降低了整体的计算需求,因此大大减少了能耗
(2)脉冲退化
“脉冲退化”指的是在脉冲神经网络(SNNs)中,由于某些因素导致脉冲信号的质量下降或失去原有特性 。这种退化可能源于以下几个方面:
“脉冲退化”本质上是指脉冲神经网络在信息处理和传递过程中,由于架构复杂性、时间特征丢失、量化误差或噪声干扰等因素,导致脉冲信号无法准确保留和传递原始信息。这种现象会降低网络的整体性能,尤其是在处理复杂任务(如物体检测)时影响更大
(3)膜电位转换为二进制脉冲
介绍
受到大脑启发的脉冲神经网络(SNN)以其低功耗而闻名。脉冲神经元结合了时空信息,当膜电位超过阈值时发出脉冲。因此,脉冲神经元仅在接收到脉冲时触发稀疏加法,其余时间保持闲置。这种脉冲驱动的特性使得SNN在部署于神经形态芯片时,相较于人工神经网络(ANN)展现出明显的低功耗优势。然而,复杂的神经动态和脉冲驱动特性带来的负面影响是,SNN难以训练,任务性能和应用场景有限
例如,脉冲神经网络(SNN)算法在计算机视觉中的大多数应用仅限于简单的图像分类任务。而另一种更常用且具有挑战性的计算机视觉任务——目标检测,在SNN中很少被探索。2020年,Spiking-YOLO提供了深度SNN中第一个目标检测模型,利用将人工神经网络(ANN)转换为SNN的方法,并使用了数千个时间步【时间步在脉冲神经网络(SNN)中指的是神经元状态更新的离散时间间隔。SNN的计算是基于时间的,神经元在每个时间步内根据输入和自身状态进行更新,并决定是否发放脉冲。整个计算过程通常在多个时间步内进行,网络会随着时间的推移不断积累信息,从而捕捉时序和空间上的特征。在SNN中,时间步的数量决定了神经元可以更新和发放脉冲的频率。因此,更多的时间步通常意味着网络有更多的机会去模拟连续信号,从而减少量化误差,提高ANN2SNN转换过程中精度的保真度。不过,增加时间步的同时也会增加计算复杂度和功耗】。
2023年,EMS-YOLO 成为第一个使用直接训练的SNN处理目标检测的工作。最近,直接训练的Meta-SpikeFormer首次以预训练和微调的方式处理目标检测。然而,这些工作的性能与ANN之间的差距仍然显著。在本研究中,我们旨在弥补这一差距,展示SNN的低功耗及其在神经形态应用中的独特优势。我们通过两个方面来实现这一目标。
首先,我们设计了一种新的架构,SpikeYOLO,它结合了YOLO的宏观设计和SNN模块的微观设计。简单地用脉冲神经元替换YOLO系列中的人工神经元通常是行不通的。现有的解决方案包括建立ANN激活与脉冲发放率之间的等价关系,或改善残差设计。我们认为,另一个潜在的原因是YOLO系列中的