Incorporating Learnable Membrane Time Constant to Enhance Learning of Spiking Neural Networks
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
ICCV 2021（同组的工作，已集成入SpikingJelly平台）
Abstract
由于时序信息处理能力、低功耗和高生物合理性，脉冲神经网络(SNN)引起了巨大的研究兴趣。然而，为SNN制定高效和高性能的学习算法仍然具有挑战性。大多数现有的学习方法只学习与突触相关的参数，并且需要手动调整膜相关参数，这些参数决定了单个脉冲神经元的动态。这些参数通常被选择为对所有神经元都相同，这限制了神经元的多样性，从而限制了所得SNN的表达能力。在本文中，我们从不同大脑区域膜相关参数不同的观察中汲取灵感，提出了一种训练算法，该算法不仅能够学习SNN的突触权重，还能够学习膜时??间常数。我们表明，结合可学习的膜时间常数可以使网络对初始值不那么敏感，并可以加快学习速度。此外，我们重新评估了SNN中的池化方法，发现最大池化能够提高SNN在时间任务中的拟合能力，并降低计算成本。我们在传统静态MNIST、Fashion-MNIST、CIFAR-10数据集和神经形态N-MNIST、CIFAR10-DVS、DVS128手势数据集上评估了所提出的图像分类任务方法。实验结果表明，所提出的方法在几乎所有数据集上都优于最先进的精度，使用更少的时间步长。
1. Introduction
脉冲神经网络(SNN)被视为第三代神经网络模型，它更接近大脑中的生物神经元[38]。与神经元和突触状态一起，SNN中还考虑了脉冲时序的重要性。由于其独特的特性，例如时序信息处理能力、低功耗[50]和高生物合理性[16]，近年来SNN越来越引起研究人员的极大兴趣。然而，为SNN制定高效和高性能的学习算法仍然具有挑战性。
通常，SNN的学习算法可以分为无监督学习、监督学习、基于奖励的学习和人工神经网络(ANN)到SNN的转换方法。无论哪种方式，我们发现大多数现有的学习方法只考虑学习突触相关参数，如突触权重，并将膜相关参数视为超参数。这些与膜相关的参数，如膜时间常数，决定了单个脉冲神经元的动力学，通常选择为对所有神经元都相同。然而，请注意，跨大脑区域的脉冲神经元存在不同的膜时间常数[39, 9]，这被证明对于工作记忆的表示和学习的制定[20, 54]是必不可少的。因此，简单地忽略SNN中的不同时间常数将限制神经元的异质性，从而限制所得SNN的表达能力。
在本文中，我们提出了一种训练算法，该算法不仅能够学习SNN的突触权重，还能够学习膜时??间常数。如图1所示，我们发现突触权重和膜时间常数的调整对神经元动力学有不同的影响。我们表明，结合可学习的膜时间常数能够增强SNN的学习。
本文的主要贡献可以总结如下：
- 我们提出了基于反向传播的学习算法，使用具有可学习膜参数的脉冲神经元，称为参数化LIF (PLIF)脉冲神经元，它更好地代表了神经元的异质性，从而增强了SNN的表达能力。我们表明，由PLIF神经元组成的SNN对初始值更稳健，并且比由具有固定时间常数的神经元组成的SNN学习得更快。
- 我们重新评估了SNN中的池化方法，并否定了先前的结论，即最大池化会导致显著的信息丢失。我们表明，通过在空间域中引入赢家通吃机制和在时间域中引入时变拓扑，最大池化可以提高SNN在时间任务中的拟合能力并降低计算成本。
- 我们在 ANN 中广泛用作基准的传统静态MNIST [31]、Fashion-MNIST [60]、CIFAR-10 [30]数据集以及神经形态N-MNIST [44]、CIFAR10-DVS [35]上评估我们的方法，DVS128 Gesture [1]数据集，用于验证网络的时序信息处理能力。所提出的方法使用更少的时间步长，在几乎所有测试数据集上都超过了最先进的精度。
2. Related Works
3. Method
3.1. Leaky Integrate-and-Fire model
3.2. Function comparison of synaptic weight and membrane time constant
3.3. Parametric Leaky Integrate-and-Fire model
3.4. Network Formulation
3.5. Spike Max-Pooling
3.6. Training Framework
4. Experiments
4.1. Preprocessing
4.2. Network Structure
4.3. Performance
5. Conclusion
A. Supplementary Materials
A.1. Reproducibility
A.2. RNN-like Expression of LIF and PLIF
A.3. Introduction of the Datasets
A.4. Network Structure Details
A.5. Training Algorithm to Fit Target Output
A.6. HyperParameters
A.7. Visualization of Spiking Encoder