Automotive Object Detection via Learning Sparse Events by Temporal Dynamics of Spiking Neurons

要約

イベントベースのセンサーは、高い時間分解能 (1us) とダイナミック レンジ (120dB) を備えており、車両やドローンなどの高速プラットフォームに導入できる可能性があります。
ただし、イベントの非常にまばらで変動する性質により、人工ニューラル ネットワーク (ANN) に基づく従来の物体検出技術には課題が生じます。
対照的に、スパイキング ニューラル ネットワーク (SNN) は、固有の時間ダイナミクスにより、イベントベースのデータを表現するのに適しています。
特に、膜電位ダイナミクスが変動イベント時にネットワーク活動を調節し、まばらな入力の特徴を強化できることを実証します。
さらに、スパイクによってトリガーされる適応しきい値によってトレーニングが安定し、ネットワーク パフォーマンスがさらに向上します。
これに基づいて、イベントベースのオブジェクト検出のための効率的なスパイク特徴ピラミッド ネットワークを開発します。
私たちが提案する SNN は、以前の SNN やアテンション メカニズムを備えた洗練された ANN よりも優れており、Gen1 ベンチマーク データセットで 47.7% の平均精度 (map50) を達成しています。
この結果は、これまでの最高の SNN を 9.7% 大幅に上回り、イベントベースのビジョンに対する SNN の可能性を示しています。
私たちのモデルは、高精度を維持しながら、スパースな計算の結果として計算コストをはるかに低く抑えながら、簡潔なアーキテクチャを備えています。
私たちのコードは公開される予定です。

要約(オリジナル)

Event-based sensors, with their high temporal resolution (1us) and dynamical range (120dB), have the potential to be deployed in high-speed platforms such as vehicles and drones. However, the highly sparse and fluctuating nature of events poses challenges for conventional object detection techniques based on Artificial Neural Networks (ANNs). In contrast, Spiking Neural Networks (SNNs) are well-suited for representing event-based data due to their inherent temporal dynamics. In particular, we demonstrate that the membrane potential dynamics can modulate network activity upon fluctuating events and strengthen features of sparse input. In addition, the spike-triggered adaptive threshold can stabilize training which further improves network performance. Based on this, we develop an efficient spiking feature pyramid network for event-based object detection. Our proposed SNN outperforms previous SNNs and sophisticated ANNs with attention mechanisms, achieving a mean average precision (map50) of 47.7% on the Gen1 benchmark dataset. This result significantly surpasses the previous best SNN by 9.7% and demonstrates the potential of SNNs for event-based vision. Our model has a concise architecture while maintaining high accuracy and much lower computation cost as a result of sparse computation. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google