The Role of Temporal Hierarchy in Spiking Neural Networks

要約

スパイキング ニューラル ネットワーク (SNN) は、空間パラメーターと時間パラメーターの両方を活用することで、豊富な時空間信号処理を可能にする可能性があります。
シナプスやニューロンの時定数や遅延などの時間的ダイナミクスには、ネットワークで必要なパラメーターの総数を減らし、時間的タスクを解決する際の SNN の精度を高めるのに役立つ計算上の利点があることが最近示されています。
たとえば、勾配降下法を通じてそのような時間パラメータを最適化すると、さまざまな問題に対する時間アーキテクチャが生まれます。
機械学習で示されているように、最適化のコストを削減するために、この場合は時間領域でアーキテクチャ上のバイアスを適用できます。
時間パラメータにおけるこのような誘導バイアスは、神経科学の研究で発見されており、皮質のさまざまな層における時間構造と入力表現の階層を強調しています。
これを動機として、我々は、SNN の隠れ層に時間表現の階層を課し、そのような帰納的バイアスがパフォーマンスを向上させることを強調することを提案します。
時間的タスクに適用されるフィードフォワード SNN の時定数における時間的階層のプラスの効果を実証します (マルチタイムスケール XOR およびキーワード スポッティング、分類精度で最大 4.1% の利点があります)。
さらに、このようなアーキテクチャ上のバイアス、つまり時定数の階層は、均一な値として初期化された勾配降下法によって時定数を最適化するときに自然に現れることを示します。
我々は、時間カーネルのサイズと拡張に階層的なバイアスを導入することにより、時間畳み込み SNN でこの提案をさらに追求し、一般的な時間スパイクベースのデータセットで競争力のある結果を生み出します。

要約(オリジナル)

Spiking Neural Networks (SNNs) have the potential for rich spatio-temporal signal processing thanks to exploiting both spatial and temporal parameters. The temporal dynamics such as time constants of the synapses and neurons and delays have been recently shown to have computational benefits that help reduce the overall number of parameters required in the network and increase the accuracy of the SNNs in solving temporal tasks. Optimizing such temporal parameters, for example, through gradient descent, gives rise to a temporal architecture for different problems. As has been shown in machine learning, to reduce the cost of optimization, architectural biases can be applied, in this case in the temporal domain. Such inductive biases in temporal parameters have been found in neuroscience studies, highlighting a hierarchy of temporal structure and input representation in different layers of the cortex. Motivated by this, we propose to impose a hierarchy of temporal representation in the hidden layers of SNNs, highlighting that such an inductive bias improves their performance. We demonstrate the positive effects of temporal hierarchy in the time constants of feed-forward SNNs applied to temporal tasks (Multi-Time-Scale XOR and Keyword Spotting, with a benefit of up to 4.1% in classification accuracy). Moreover, we show that such architectural biases, i.e. hierarchy of time constants, naturally emerge when optimizing the time constants through gradient descent, initialized as homogeneous values. We further pursue this proposal in temporal convolutional SNNs, by introducing the hierarchical bias in the size and dilation of temporal kernels, giving rise to competitive results in popular temporal spike-based datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google