再读祖师爷的Few-spikes Neuron
0. 写在前面
其实一年前就读过了Stockl和Maass的FS神经元了,要义是用一个极简的神经元模型去拟合传统神经网络中的激活函数,也是给ANN-SNN Conversion提供了一个新思路。组内师兄师姐基于此做了一篇扩展FS多基编码用于SNN Converesion的工作。但FS有关于生物学启发的部分当时并没有细致研究过。所以,通过这篇Blog,希望能够对这一部分理解更透。
1. FS Neuron的优越性
摘要部分有这样一句:
…, so that it not only matters for information transmission how many spikes a neuron emits, but also when it emits those spikes.
…, 因此,对于信息传递而言,神经元发出多少脉冲固然重要,但何时发出这些脉冲也同样重要。
这句话说明了,相较于其他常用的rate coding/direct coding策略,神经元【何时】发出脉冲的信息也被考虑了进去。也正因如此,FS神经元能以平均下来大约2个脉冲就可完成conversion。
同时,正文最后论述了与其他的时间编码的方法的区别:
Most previously proposed forms of temporal coding, … , have turned out to be difficult to implement efficiently in neuromorphic hardware because they require to transmit fine time-differences between spikes to downstream neurons.
先前提出的大多数时间编码形式,……,都难以在神经形态硬件中有效实现,因为它们需要将脉冲之间细微的时间差传输到下游神经元。
即,整个网络中每个神经元发的脉冲的绝对时间/相对时间差都要传递到下一个时间步/下一层。但这种时间粒度有多细都不好说。
对于从到的整数,FS-Conversion仅需要个值,配合最多个脉冲传递。






