摘要：近年来，神经形态计算（neuromorphic computing）逐渐成为研究热点，它利用尖峰神经网络（Spiking Neural Networks, SNNs）进行高效节能的计算。然而，由于尖峰信号的离散特性，传统的梯度下降法难以实现高效的学习。本文介绍
摘要
近年来，神经形态计算（neuromorphic computing）逐渐成为研究热点，它利用尖峰神经网络（Spiking Neural Networks, SNNs）进行高效节能的计算。然而，由于尖峰信号的离散特性，传统的梯度下降法难以实现高效的学习。本文介绍了一种新的尖峰神经网络训练方法，通过光滑精确的梯度下降来避免尖峰信号的突然变化。
关键词： 尖峰神经网络，梯度下降，伪尖峰，神经形态计算，二次积分-发放神经元模型
图 1. 扰动和非扰动尖峰形态。(a),(b),(d) 在试验过程中，LIF神经元的峰值时间可能出现中断。(a),(c),(d) QIF神经元的峰值时间仅在试验结束时无扰动地出现，其他时间随参数的变化而连续变化。左列：一个神经元接收到一个单一的输入，其权重增加（随着饱和度的增加而增加）。右列：神经元接受兴奋性和抑制性输入，其到达时间被移动到更大的时间。
为了实现尖峰信号的系统增加，研究者引入了 伪动态（pseudodynamics）和伪尖峰（pseudospikes） 的概念。通过在普通尖峰之间加入伪尖峰，网络可以在学习初期保持活跃，避免“死神经元”现象。这些伪尖峰与网络参数连续相关，并在学习过程中平滑转换为普通尖峰，确保梯度的连续性。图 2. QIF神经元的平滑梯度下降学习。(a)学习两个输入的权重和时间来调整前两个输出尖峰时间。(b)左：学习前，神经元没有尖峰。右图：学习后，神经元在期望的时间出现尖峰。(c)在学习过程中，伪尖峰时间平滑变化。(d)损失函数L的梯度分量在学习过程中不断变化。学习进度显示为自学习开始以来输出尖峰时间轨迹弧长的函数
图 3. 在RNN中学习精确的尖峰。(a)网络示意图。神经元在每次试验中都接收到来自外部输入神经元的相同尖峰信号。学习了前两个网络神经元的峰值时间。(b)学习前后网络神经元的尖峰。(c)学习过程中第一个神经元的峰值时间轨迹。期望的峰值向目标时间移动。(d)与(c)相同，但尖峰时间显示为输出尖峰时间轨迹弧长的函数。
研究者通过多种任务验证了该方法的有效性，包括单个神经元学习、递归神经网络 （Recurrent Neural Networks, RNNs） 的训练，以及手写数字识别任务 （MNIST数据集） 的分类。实验结果表明，该方法不仅能使网络从静默状态激活，并且在标准机器学习任务中表现出较高的准确性。特别是在递归神经网络中，利用伪尖峰可以有效地传播误差，确保网络各层的神经元参与学习。图 4. MNIST任务。(a)三层网络尖峰栅格图。左：学习前的沉默神经元。右：学习后的稀疏尖峰。(b)学习后输出神经元的电压动态；(c)分类误差动态。在测试期间也使用伪峰值在早期训练中产生较小的测试错误。
本文展示的研究证明了即便是具有离散尖峰特性的神经网络，也可以通过精确的梯度下降实现平滑的学习。这种方法不仅为生物神经网络的研究提供了新工具，也为神经形态计算开辟了新的应用前景。未来的研究可以探索更多具有连续尖峰时间特性的神经元模型，以进一步提升学习算法的稳定性和效率。来源：小夭看天下
