Adaptive-SpikeNet: Event-based Optical Flow Estimation using Spiking Neural Networks with Learnable Neuronal Dynamics

要約

イベントベースのカメラは、時間的に豊富な情報を非同期でキャプチャできるため、高速モーション推定の大きな可能性を最近示しています。
スパイキング ニューラル ネットワーク (SNN) は、ニューロにヒントを得たイベント駆動型処理を備えており、このような非同期データを効率的に処理できます。また、漏出統合および発火 (LIF) などのニューロン モデルは、入力に含まれる典型的なタイミング情報を追跡できます。
SNN は、ニューロン メモリ内の動的な状態を維持し、重要な情報を保持しながら、時間の経過とともに冗長なデータを忘れることによってこれを実現します。
したがって、SNN は、同様のサイズのアナログ ニューラル ネットワーク (ANN) と比較して、逐次回帰タスクのパフォーマンスを向上させることができると仮定します。
ただし、ディープ SNN は、後のレイヤーでスパイクが消失するため、トレーニングが困難です。
その趣旨で、学習可能な神経ダイナミクスを備えた適応型完全スパイク フレームワークを提案して、スパイク消失問題を軽減します。
サロゲート勾配ベースの経時逆伝播 (BPTT) を利用して、深層 SNN をゼロからトレーニングします。
Multi-Vehicle Stereo Event-Camera (MVSEC) データセットと DSEC-Flow データセットに対するオプティカル フロー推定のタスクに対するアプローチを検証します。
これらのデータセットに対する当社の実験では、最先端の ANN と比較して、平均エンドポイント エラー (AEE) が平均 13% 減少したことが示されています。
また、いくつかのダウンスケールされたモデルを調査し、SNN モデルが 10% ～ 16% 低い AEE を提供する同様のサイズの ANN よりも一貫して優れていることを観察します。
これらの結果は、小規模なモデルに対する SNN の重要性と、エッジでの適合性を示しています。
効率の面では、当社の SNN はネットワーク パラメーター (48.3x) と計算エネルギー (10.2x) を大幅に節約し、最先端の ANN 実装と比較して EPE を最大 10% 削減します。

要約(オリジナル)

Event-based cameras have recently shown great potential for high-speed motion estimation owing to their ability to capture temporally rich information asynchronously. Spiking Neural Networks (SNNs), with their neuro-inspired event-driven processing can efficiently handle such asynchronous data, while neuron models such as the leaky-integrate and fire (LIF) can keep track of the quintessential timing information contained in the inputs. SNNs achieve this by maintaining a dynamic state in the neuron memory, retaining important information while forgetting redundant data over time. Thus, we posit that SNNs would allow for better performance on sequential regression tasks compared to similarly sized Analog Neural Networks (ANNs). However, deep SNNs are difficult to train due to vanishing spikes at later layers. To that effect, we propose an adaptive fully-spiking framework with learnable neuronal dynamics to alleviate the spike vanishing problem. We utilize surrogate gradient-based backpropagation through time (BPTT) to train our deep SNNs from scratch. We validate our approach for the task of optical flow estimation on the Multi-Vehicle Stereo Event-Camera (MVSEC) dataset and the DSEC-Flow dataset. Our experiments on these datasets show an average reduction of 13% in average endpoint error (AEE) compared to state-of-the-art ANNs. We also explore several down-scaled models and observe that our SNN models consistently outperform similarly sized ANNs offering 10%-16% lower AEE. These results demonstrate the importance of SNNs for smaller models and their suitability at the edge. In terms of efficiency, our SNNs offer substantial savings in network parameters (48.3x) and computational energy (10.2x) while attaining ~10% lower EPE compared to the state-of-the-art ANN implementations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google