StereoSpike: Depth Learning with a Spiking Neural Network

要約

深度推定はコンピュータビジョンの重要なタスクであり、特に自律走行車のナビゲーションやロボット工学における物体操作に有用である。ここでは、StereoSpikeと名付けた、2つのイベントベースカメラと、U-Netのようなエンコーダ・デコーダアーキテクチャを若干修正したSpiking Neural Network（SNN）を組み合わせたエンドツーエンドの神経型アプローチにより、この問題を解決しました。具体的には、Multi Vehicle Stereo Event Camera Dataset (MVSEC)を使用しました。このデータセットは、深度のグランドトゥルースを提供し、これを用いて、代用勾配降下を用いた教師ありの方法でStereoSpikeを学習させた。我々は、デコーダのスパイクから、各ピクセルの深度という高密度のアナログ予測を得るために、新しい読み出しパラダイムを提案する。我々は、このアーキテクチャが非常によく一般化し、非スパイクの対応するものよりもさらによく、最先端のテスト精度につながることを実証する。我々の知る限り、このような大規模な回帰問題が完全なスパイキングネットワークによって解決されたのはこれが初めてである。最後に、正則化によって低い発火率（10％未満）を得ることができ、精度の犠牲は最小限であることを示しました。これは、StereoSpikeがニューロモルフィックチップ上に効率的に実装され、低消費電力でリアルタイムの組み込みシステムへの扉を開くことができることを意味しています。

要約(オリジナル)

Depth estimation is an important computer vision task, useful in particular for navigation in autonomous vehicles, or for object manipulation in robotics. Here we solved it using an end-to-end neuromorphic approach, combining two event-based cameras and a Spiking Neural Network (SNN) with a slightly modified U-Net-like encoder-decoder architecture, that we named StereoSpike. More specifically, we used the Multi Vehicle Stereo Event Camera Dataset (MVSEC). It provides a depth ground-truth, which was used to train StereoSpike in a supervised manner, using surrogate gradient descent. We propose a novel readout paradigm to obtain a dense analog prediction — the depth of each pixel — from the spikes of the decoder. We demonstrate that this architecture generalizes very well, even better than its non-spiking counterparts, leading to state-of-the-art test accuracy. To the best of our knowledge, it is the first time that such a large-scale regression problem is solved by a fully spiking network. Finally, we show that low firing rates (<10%) can be obtained via regularization, with a minimal cost in accuracy. This means that StereoSpike could be efficiently implemented on neuromorphic chips, opening the door for low power and real time embedded systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL