Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network

要約

タイトル：適応型スパイキングエンコーダ・デコーダネットワークを用いた正確かつ効率的なイベントベースの意味セグメンテーション

要約：

– 低消費電力のイベント駆動型計算と固有の時間的ダイナミクスにより、スパイキングニューラルネットワーク（SNN）はイベントベースのセンサから高度に動的な非同期信号を処理する理想候補である。
– しかし、トレーニングやアーキテクチャの設計上の制約のため、SNNは人工ニューラルネットワーク（ANN）に比べてイベントベースの密な予測において競争力のあるデモが不足している。
– 本研究では、階層的探索を用いてエンコーダを最適化した、大規模なイベントベースの意味セグメンテーションタスク向けの効率的なスパイキングエンコーダ・デコーダネットワークを構築した。
– 非常に動的なイベントストリームからの学習を改善するために、スパイキングニューロンの固有の適応閾値を利用してネットワークの活性化を調整した。
– さらに、スパースなイベント表現を強化するためにデュアルパスのスパイキング空間適応モジュレーション（SSAM）ブロックを開発し、ネットワークの性能を大幅に向上させた。
– 本ネットワークはDDD17データセットで72.57％の平均Intersection over Union（MIoU）を達成し、新たに提案されたより大きなDSEC-Semanticデータセットでは57.22％のMIoUを達成し、既存のANNの最高記録を4％超えながらはるかに低い計算コストで実現している。
– 私たちの知る限り、これはSNNが挑戦的なイベントベースの意味セグメンテーションタスクでANNを凌駕した初めての例であり、イベントベースのビジョンでのSNNの巨大な可能性を示している。私たちのコードは公開されます。

要約(オリジナル)

Low-power event-driven computation and inherent temporal dynamics render spiking neural networks (SNNs) ideal candidates for processing highly dynamic and asynchronous signals from event-based sensors. However, due to the challenges in training and architectural design constraints, there is a scarcity of competitive demonstrations of SNNs in event-based dense prediction compared to artificial neural networks (ANNs). In this work, we construct an efficient spiking encoder-decoder network for large-scale event-based semantic segmentation tasks, optimizing the encoder with hierarchical search. To improve learning from highly dynamic event streams, we exploit the intrinsic adaptive threshold of spiking neurons to modulate network activation. Additionally, we develop a dual-path spiking spatially-adaptive modulation (SSAM) block to enhance the representation of sparse events, significantly improving network performance. Our network achieves 72.57% mean intersection over union (MIoU) on the DDD17 dataset and 57.22% MIoU on the newly proposed larger DSEC-Semantic dataset, surpassing current record ANNs by 4% while utilizing much lower computation costs. To the best of our knowledge, this is the first instance of SNNs outperforming ANNs in challenging event-based semantic segmentation tasks, demonstrating their immense potential in event-based vision. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI