Automotive Object Detection via Learning Sparse Events by Spiking Neurons

要約

イベントベースのセンサーは、1 {\μ} 秒の高い時間分解能と 120 dB のダイナミック レンジを特徴としており、車両やドローンなどのペースの速い環境での導入に最適なツールとして際立っています。
人工ニューラル ネットワーク (ANN) を利用した従来の物体検出技術は、これらのセンサーがキャプチャするイベントがまばらで非同期であるため、課題に直面しています。
対照的に、スパイキング ニューラル ネットワーク (SNN) は、イベントベースのデータと本質的に一致する時間表現を提供する、有望な代替手段を提供します。
この論文では、SNN のユニークな膜電位ダイナミクスと、まばらなイベントを調節する SNN の能力を調査します。
安定したトレーニングのために設計された、革新的なスパイクトリガー適応閾値メカニズムを導入します。
これらの洞察に基づいて、自動車イベントベースの物体検出用に最適化された特殊なスパイク機能ピラミッド ネットワーク (SpikeFPN) を紹介します。
包括的な評価により、SpikeFPN は従来の SNN とアテンション メカニズムで強化された高度な ANN の両方を上回っていることが実証されています。
明らかに、SpikeFPN は GEN1 Automotive Detection (GAD) ベンチマーク データセットで 0.477 の平均平均精度 (mAP) を達成し、これまでの最高の SNN と比較して 9.7% の大幅な向上を記録しています。
さらに、SpikeFPN の効率的な設計により、その固有のスパース計算能力により計算リソースを最適化しながら、堅牢なパフォーマンスが保証されます。

要約(オリジナル)

Event-based sensors, distinguished by their high temporal resolution of 1 {\mu}s and a dynamic range of 120 dB, stand out as ideal tools for deployment in fast-paced settings like vehicles and drones. Traditional object detection techniques that utilize Artificial Neural Networks (ANNs) face challenges due to the sparse and asynchronous nature of the events these sensors capture. In contrast, Spiking Neural Networks (SNNs) offer a promising alternative, providing a temporal representation that is inherently aligned with event-based data. This paper explores the unique membrane potential dynamics of SNNs and their ability to modulate sparse events. We introduce an innovative spike-triggered adaptive threshold mechanism designed for stable training. Building on these insights, we present a specialized spiking feature pyramid network (SpikeFPN) optimized for automotive event based object detection. Comprehensive evaluations demonstrate that SpikeFPN surpasses both traditional SNNs and advanced ANNs enhanced with attention mechanisms. Evidently, SpikeFPN achieves a mean Average Precision (mAP) of 0.477 on the GEN1 Automotive Detection (GAD) benchmark dataset, marking a significant increase of 9.7% over the previous best SNN. Moreover, the efficient design of SpikeFPN ensures robust performance while optimizing computational resources, attributed to its innate sparse computation capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google