Spiking Neural Networks for event-based action recognition: A new task to understand their advantage

要約

スパイキング ニューラル ネットワーク (SNN) は、その独特の時間ダイナミクスによって特徴付けられますが、そのような計算の特性と利点はまだよく理解されていません。
答えを提供するために、この研究では、スパイキング ニューロンがリカレント シナプスを必要とせずにフィードフォワード ニューラル ネットワークで時間的特徴抽出を可能にする方法と、リカレント SNN がより少ないパラメータで LSTM と同等の結果を達成する方法を示します。
これは、バイオにインスピレーションを得たコンピューティング原理がエネルギー効率の向上を超えてどのようにうまく活用できるかを示しており、従来の人工ニューラル ネットワークとの違いを証明しています。
これらの結果は、新しいタスクである DVS-Gesture-Chain (DVS-GC) を通じて取得され、これにより、実際のイベントベースのアクション認識データセットにおける時間的依存関係の認識を初めて評価できるようになります。
私たちの研究は、イベントが発生する順序の理解を必要とする新しい DVS-GC とは異なり、イベントがフレームに蓄積される場合に、広く使用されている DVS Gesture ベンチマークを時間的特徴抽出なしでネットワークでどのように解決できるかを証明しました。
さらに、この設定により、時間的処理タスクのニューロンのスパイクにおける漏洩率の役割を明らかにすることができ、「ハード リセット」メカニズムの利点が実証されました。
さらに、時間依存の重みと正規化が、時間的注意による順序の理解にどのようにつながるかについても示します。

要約(オリジナル)

Spiking Neural Networks (SNN) are characterised by their unique temporal dynamics, but the properties and advantages of such computations are still not well understood. In order to provide answers, in this work we demonstrate how Spiking neurons can enable temporal feature extraction in feed-forward neural networks without the need for recurrent synapses, and how recurrent SNNs can achieve comparable results to LSTM with a smaller number of parameters. This shows how their bio-inspired computing principles can be successfully exploited beyond energy efficiency gains and evidences their differences with respect to conventional artificial neural networks. These results are obtained through a new task, DVS-Gesture-Chain (DVS-GC), which allows, for the first time, to evaluate the perception of temporal dependencies in a real event-based action recognition dataset. Our study proves how the widely used DVS Gesture benchmark can be solved by networks without temporal feature extraction when its events are accumulated in frames, unlike the new DVS-GC which demands an understanding of the order in which events happen. Furthermore, this setup allowed us to reveal the role of the leakage rate in spiking neurons for temporal processing tasks and demonstrated the benefits of ‘hard reset’ mechanisms. Additionally, we also show how time-dependent weights and normalization can lead to understanding order by means of temporal attention.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google