12、论文阅读：SpikeYOLO：高性能低能耗目标检测网络

前言

脉冲神经网络（Spiking Neural Networks, SNNs）具有生物合理性和低功耗的优势，相较于人工神经网络（Artificial Neural Networks, ANNs）。然而，由于性能较差，目前 SNNs 的应用仅限于简单的分类任务。

在这项工作中，我们专注于缩小 SNNs 和 ANNs 在物体检测任务上的性能差距。我们的设计围绕网络架构和脉冲神经元展开。

首先，YOLO 系列在转换为对应的脉冲版本时，由于模块设计过于复杂，导致了脉冲退化。为了解决这个问题，我们设计了一种 SpikeYOLO 架构，通过简化原始 YOLO 并引入元 SNN 模块来解决这一问题。

其次，在脉冲神经元将膜电位转换为二进制脉冲的过程中，物体检测对量化误差更加敏感。为了解决这个挑战，我们设计了一种新型脉冲神经元，在训练过程中激活整数值，并通过扩展虚拟时间步长在推理过程中保持脉冲驱动。该方法在静态和神经形态物体检测数据集上进行了验证。

在静态 COCO 数据集上，我们获得了 66.2% mAP@50 和 48.9% mAP@50:95，分别比之前最先进的 SNN 高 15.0% 和 18.7%。 在神经形态 Gen1 数据集上，我们实现了 67.2% mAP@50，比具有同等架构的 ANN 高出 2.5%，并且能量效率提高了 5.7 倍。

解释

（1）低功耗
由于神经元只有在特定条件下才会发放脉冲，这种机制使得 SNNs 的活动非常稀疏。这种稀疏性降低了整体的计算需求，因此大大减少了能耗
（2）脉冲退化
“脉冲退化”指的是在脉冲神经网络（SNNs）中，由于某些因素导致脉冲信号的质量下降或失去原有特性 。这种退化可能源于以下几个方面：

“脉冲退化”本质上是指脉冲神经网络在信息处理和传递过程中，由于架构复杂性、时间特征丢失、量化误差或噪声干扰等因素，导致脉冲信号无法准确保留和传递原始信息。这种现象会降低网络的整体性能，尤其是在处理复杂任务（如物体检测）时影响更大
（3）膜电位转换为二进制脉冲

介绍

受到大脑启发的脉冲神经网络（SNN）以其低功耗而闻名。脉冲神经元结合了时空信息，当膜电位超过阈值时发出脉冲。因此，脉冲神经元仅在接收到脉冲时触发稀疏加法，其余时间保持闲置。这种脉冲驱动的特性使得SNN在部署于神经形态芯片时，相较于人工神经网络（ANN）展现出明显的低功耗优势。然而，复杂的神经动态和脉冲驱动特性带来的负面影响是，SNN难以训练，任务性能和应用场景有限

例如，脉冲神经网络（SNN）算法在计算机视觉中的大多数应用仅限于简单的图像分类任务。而另一种更常用且具有挑战性的计算机视觉任务——目标检测，在SNN中很少被探索。2020年，Spiking-YOLO提供了深度SNN中第一个目标检测模型，利用将人工神经网络（ANN）转换为SNN的方法，并使用了数千个时间步【时间步在脉冲神经网络（SNN）中指的是神经元状态更新的离散时间间隔。SNN的计算是基于时间的，神经元在每个时间步内根据输入和自身状态进行更新，并决定是否发放脉冲。整个计算过程通常在多个时间步内进行，网络会随着时间的推移不断积累信息，从而捕捉时序和空间上的特征。在SNN中，时间步的数量决定了神经元可以更新和发放脉冲的频率。因此，更多的时间步通常意味着网络有更多的机会去模拟连续信号，从而减少量化误差，提高ANN2SNN转换过程中精度的保真度。不过，增加时间步的同时也会增加计算复杂度和功耗】。

2023年，EMS-YOLO 成为第一个使用直接训练的SNN处理目标检测的工作。最近，直接训练的Meta-SpikeFormer首次以预训练和微调的方式处理目标检测。然而，这些工作的性能与ANN之间的差距仍然显著。在本研究中，我们旨在弥补这一差距，展示SNN的低功耗及其在神经形态应用中的独特优势。我们通过两个方面来实现这一目标。

首先，我们设计了一种新的架构，SpikeYOLO，它结合了YOLO的宏观设计和SNN模块的微观设计。简单地用脉冲神经元替换YOLO系列中的人工神经元通常是行不通的。现有的解决方案包括建立ANN激活与脉冲发放率之间的等价关系，或改善残差设计。我们认为，另一个潜在的原因是YOLO系列中的