Efficient Object Detection in Autonomous Driving using Spiking Neural Networks: Performance, Energy Consumption Analysis, and Insights into Open-set Object Discovery

要約

パフォーマンスに加えて、効率も車両の知覚をサポートするテクノロジーの重要な設計要因です。
実際、自動運転車の持続可能性にとって、パフォーマンスとエネルギー消費の間のバランスの取れたトレードオフが重要です。
これに関連して、自律走行車が動作できる現実世界の状況の多様性により、新たに出現した物体を自ら検出、特徴付け、識別する機能を備えた知覚モデルを強化する必要性が生じています。
この原稿では、車両シナリオから収集された画像データに対する物体検出モデリング タスクに関するこの 3 つの難題 (パフォーマンス、効率、オープンワールド学習) について詳しく説明します。
具体的には、スパイク ニューラル ネットワーク (SNN) によってパフォーマンスの優れた効率的なモデルを実現でき、スパイクを行わないモデルと比較して、劇的なエネルギー消費量の節約 (最大 85%) で競争力のあるレベルの検出パフォーマンスに到達できることを示します。
画像ノイズに対する堅牢性がわずかに向上しました。
ここで提供される私たちの実験は、キャプチャされた画像内の潜在的なオブジェクトの候補を識別するための単純なアプローチの予備結果に基づいて、新しいオブジェクトを検出する複雑さを定性的に明らかにします。

要約(オリジナル)

Besides performance, efficiency is a key design driver of technologies supporting vehicular perception. Indeed, a well-balanced trade-off between performance and energy consumption is crucial for the sustainability of autonomous vehicles. In this context, the diversity of real-world contexts in which autonomous vehicles can operate motivates the need for empowering perception models with the capability to detect, characterize and identify newly appearing objects by themselves. In this manuscript we elaborate on this threefold conundrum (performance, efficiency and open-world learning) for object detection modeling tasks over image data collected from vehicular scenarios. Specifically, we show that well-performing and efficient models can be realized by virtue of Spiking Neural Networks (SNNs), reaching competitive levels of detection performance when compared to their non-spiking counterparts at dramatic energy consumption savings (up to 85%) and a slightly improved robustness against image noise. Our experiments herein offered also expose qualitatively the complexity of detecting new objects based on the preliminary results of a simple approach to discriminate potential object proposals in the captured image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google