Accurate and Efficient Event-based Semantic Segmentation Using Adaptive Spiking Encoder-Decoder Network

要約

スパイキングニューラルネットワーク(SNN)は、低消費電力でイベントドリブンな計算と固有の時間的ダイナミクスで知られ、イベントベースのセンサーからの動的で非同期な信号を処理するための有望なソリューションとして浮上している。その可能性にもかかわらず、SNNは学習とアーキテクチャ設計における課題に直面しており、その結果、人工ニューラルネットワーク（ANN）と比較して、イベントベースの高密度な予測タスクにおける困難な性能に限界がある。本研究では、大規模なイベントベースのセマンティックセグメンテーション課題のために、効率的なスパイキングエンコーダデコーダネットワーク（SpikingEDN）を開発する。動的なイベントストリームからの学習効率を向上させるために、ストリーミング推論におけるネットワークの精度、スパース性、ロバスト性を向上させる適応閾値を利用する。さらに、スパースイベントとマルチモーダル入力の表現を強化するために特別に調整された、デュアルパススパイキング空間適応変調モジュールを開発し、これによりネットワークの性能を大幅に向上させる。我々のSpikingEDNは、DDD17データセットで72.57%、DSEC-Semanticデータセットで58.32%のMIoU(mean intersection over union)を達成し、より少ない計算資源で最先端のANNに匹敵する結果を示した。我々の結果は、イベントベースの視覚アプリケーションにおけるSNNの未開発の可能性に光を当てるものである。ソースコードは公開される予定である。

要約(オリジナル)

Spiking neural networks (SNNs), known for their low-power, event-driven computation and intrinsic temporal dynamics, are emerging as promising solutions for processing dynamic, asynchronous signals from event-based sensors. Despite their potential, SNNs face challenges in training and architectural design, resulting in limited performance in challenging event-based dense prediction tasks compared to artificial neural networks (ANNs). In this work, we develop an efficient spiking encoder-decoder network (SpikingEDN) for large-scale event-based semantic segmentation tasks. To enhance the learning efficiency from dynamic event streams, we harness the adaptive threshold which improves network accuracy, sparsity and robustness in streaming inference. Moreover, we develop a dual-path Spiking Spatially-Adaptive Modulation module, which is specifically tailored to enhance the representation of sparse events and multi-modal inputs, thereby considerably improving network performance. Our SpikingEDN attains a mean intersection over union (MIoU) of 72.57\% on the DDD17 dataset and 58.32\% on the larger DSEC-Semantic dataset, showing competitive results to the state-of-the-art ANNs while requiring substantially fewer computational resources. Our results shed light on the untapped potential of SNNs in event-based vision applications. The source code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL