Razor SNN: Efficient Spiking Neural Network with Temporal Embeddings

要約

ダイナミック ビジョン センサー (DVS) によって生成されるイベント ストリームは、空間領域ではまばらで不均一ですが、時間領域では依然として高密度で冗長です。
イベント駆動型神経形態モデルであるスパイキング ニューラル ネットワーク (SNN) には、イベント ストリームから時空間特徴を抽出できる可能性がありますが、効果的かつ効率的ではありません。
上記に基づいて、無意味なイベント フレームを段階的にプルーニングする、Razor SNN と呼ばれるイベント スパース化スパイキング フレームワークを提案します。
具体的には、グローバル時間埋め込みに基づいて動的メカニズムを拡張し、特徴を再構築し、トレーニング段階で適応的にイベント効果を強調します。
推論段階では、トレーニングされた時間的埋め込みによって生成されたバイナリ マスクに従って、無駄なフレームを階層的に削除します。
包括的な実験により、Razor SNN が 4 つのイベントベースのベンチマーク (DVS 128 Gesture、N-Caltech 101、CIFAR10-DVS、SHD) で一貫して競争力のあるパフォーマンスを達成していることが実証されています。

要約(オリジナル)

The event streams generated by dynamic vision sensors (DVS) are sparse and non-uniform in the spatial domain, while still dense and redundant in the temporal domain. Although spiking neural network (SNN), the event-driven neuromorphic model, has the potential to extract spatio-temporal features from the event streams, it is not effective and efficient. Based on the above, we propose an events sparsification spiking framework dubbed as Razor SNN, pruning pointless event frames progressively. Concretely, we extend the dynamic mechanism based on the global temporal embeddings, reconstruct the features, and emphasize the events effect adaptively at the training stage. During the inference stage, eliminate fruitless frames hierarchically according to a binary mask generated by the trained temporal embeddings. Comprehensive experiments demonstrate that our Razor SNN achieves competitive performance consistently on four events-based benchmarks: DVS 128 Gesture, N-Caltech 101, CIFAR10-DVS and SHD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google