Best of Both Worlds: Hybrid SNN-ANN Architecture for Event-based Optical Flow Estimation

要約

ロボット工学の分野では、イベントベースのカメラが、高速モーションや高ダイナミックレンジのシーンをキャプチャするための、従来のフレームベースのカメラに代わる有望な低電力代替品として台頭しています。
これは、イベント出力が疎で非同期であるためです。
非同期イベント駆動型コンピューティングを備えたスパイキング ニューラル ネットワーク (SNN) は、これらのイベント ストリームから時空間特徴を抽出する大きな可能性を示します。
対照的に、標準のアナログ ニューラル ネットワーク (ANN) はイベント データを効果的に処理できません。
ただし、SNN のトレーニングは、追加のトレーニング可能なパラメーター (しきい値とリーク)、より深い層でのスパイクの消失、および微分不可能な 2 値活性化関数のため困難です。
さらに、時間情報の追跡を担う追加のデータ構造である膜電位は、SNN のタイムステップごとに取得して更新する必要があります。
これらの課題を克服するために、私たちは両方の長所を組み合わせた新しい SNN-ANN ハイブリッド アーキテクチャを提案します。
具体的には、SNN レイヤーの非同期計算機能を活用して、入力時間情報を効果的に抽出します。
同時に、ANN レイヤーは、GPU などの従来の機械学習ハードウェアでのトレーニングと効率的なハードウェア展開を促進します。
各レイヤーをスパイクまたはアナログに割り当てるための広範な実験分析を提供し、パフォーマンスとトレーニングの容易さのために最適化されたネットワーク構成を実現します。
DSEC フローおよびマルチビークル ステレオ イベント カメラ (MVSEC) データセットでのオプティカル フロー推定のためのハイブリッド アーキテクチャを評価します。
DSEC フロー データセットでは、ハイブリッド SNN-ANN アーキテクチャは、フル SNN と比較してエネルギー消費量が 22% 削減され、フル ANN と比較して AEE が 48% 削減され、平均エンドポイント エラー (AEE) が 40% 削減されます。
同等のエネルギー使用量。

要約(オリジナル)

In the field of robotics, event-based cameras are emerging as a promising low-power alternative to traditional frame-based cameras for capturing high-speed motion and high dynamic range scenes. This is due to their sparse and asynchronous event outputs. Spiking Neural Networks (SNNs) with their asynchronous event-driven compute, show great potential for extracting the spatio-temporal features from these event streams. In contrast, the standard Analog Neural Networks (ANNs) fail to process event data effectively. However, training SNNs is difficult due to additional trainable parameters (thresholds and leaks), vanishing spikes at deeper layers, and a non-differentiable binary activation function. Furthermore, an additional data structure, membrane potential, responsible for keeping track of temporal information, must be fetched and updated at every timestep in SNNs. To overcome these challenges, we propose a novel SNN-ANN hybrid architecture that combines the strengths of both. Specifically, we leverage the asynchronous compute capabilities of SNN layers to effectively extract the input temporal information. Concurrently, the ANN layers facilitate training and efficient hardware deployment on traditional machine learning hardware such as GPUs. We provide extensive experimental analysis for assigning each layer to be spiking or analog, leading to a network configuration optimized for performance and ease of training. We evaluate our hybrid architecture for optical flow estimation on DSEC-flow and Multi-Vehicle Stereo Event-Camera (MVSEC) datasets. On the DSEC-flow dataset, the hybrid SNN-ANN architecture achieves a 40% reduction in average endpoint error (AEE) with 22% lower energy consumption compared to Full-SNN, and 48% lower AEE compared to Full-ANN, while maintaining comparable energy usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google