Overcoming the Limitations of Layer Synchronization in Spiking Neural Networks

要約

現在、機械学習アプリケーションにおけるニューラル ネットワーク処理は、層の同期に依存しています。これにより、層内のニューロンは、活性化関数を評価する前に、前の層のすべてのニューロンから入ってくる電流を集約します。
これは、実際には脳内の処理が非同期であるにもかかわらず、神経生物学と一致すると宣伝されている人工スパイキング ニューラル ネットワーク (SNN) でも実践されています。
しかし、真の非同期システムでは、すべてのニューロンが同時に閾値を評価し、シナプス前電流を受け取るとスパイクを放出することができます。
レイヤ同期を省略すると、レイテンシとエネルギー効率の観点から潜在的に有益ですが、レイヤ同期で以前にトレーニングされたモデルを非同期実行すると、ネットワーク ダイナミクスとパフォーマンスの不一致が生じる可能性があります。
私たちは、ネットワーク非同期性を実装するシミュレーション環境上の 3 つのデータセットでこの問題を文書化して定量化した研究を紹介します。また、レイヤー同期でトレーニングされたモデルは、同期がないと最適に実行されないか、同期の恩恵を受けられないことを示します。
このようなメカニズムが導入されている場合、エネルギーと待ち時間が短縮されます。
次に、「なんとかやりくり」して、非同期処理に適したモデルを学習するための新しいバックプロパゲーションベースのトレーニング方法である階層化バックプロップを使用して問題に対処します。
さまざまなニューロン実行スケジューリング戦略を使用する IT モデルをトレーニングしたところ、ニューロンの反応性はより高いにもかかわらず、これらのモデルは一貫して全体的なスパイク密度が低く (最大 50%)、正しい決定に迅速に (最大 2 倍) 到達することがわかりました。
すべてのスパイクを統合し、優れた精度（最大 10% 向上）を実現します。
私たちの調査結果は、非同期イベントベース (ニューロモーフィック) AI コンピューティングが確かに効率的であることを示唆していますが、そのメリットを得るには、SNN モデルをトレーニングする方法を真剣に再考する必要があります。

要約(オリジナル)

Currently, neural-network processing in machine learning applications relies on layer synchronization, whereby neurons in a layer aggregate incoming currents from all neurons in the preceding layer, before evaluating their activation function. This is practiced even in artificial Spiking Neural Networks (SNNs), which are touted as consistent with neurobiology, in spite of processing in the brain being, in fact asynchronous. A truly asynchronous system however would allow all neurons to evaluate concurrently their threshold and emit spikes upon receiving any presynaptic current. Omitting layer synchronization is potentially beneficial, for latency and energy efficiency, but asynchronous execution of models previously trained with layer synchronization may entail a mismatch in network dynamics and performance. We present a study that documents and quantifies this problem in three datasets on our simulation environment that implements network asynchrony, and we show that models trained with layer synchronization either perform sub-optimally in absence of the synchronization, or they will fail to benefit from any energy and latency reduction, when such a mechanism is in place. We then ‘make ends meet’ and address the problem with unlayered backprop, a novel backpropagation-based training method, for learning models suitable for asynchronous processing. We train with it models that use different neuron execution scheduling strategies, and we show that although their neurons are more reactive, these models consistently exhibit lower overall spike density (up to 50%), reach a correct decision faster (up to 2x) without integrating all spikes, and achieve superior accuracy (up to 10% higher). Our findings suggest that asynchronous event-based (neuromorphic) AI computing is indeed more efficient, but we need to seriously rethink how we train our SNN models, to benefit from it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google