MSC-Bench: Benchmarking and Analyzing Multi-Sensor Corruption for Driving Perception

要約

マルチセンサーフュージョンモデルは、自律走行知覚、特に3D物体検出やHDマップ構築などのタスクにおいて重要な役割を果たす。これらのモデルは自律走行システムに不可欠で包括的な静的環境情報を提供します。カメラ-LiDARフュージョン法は、両方のモダリティからのデータを統合することで有望な結果を示していますが、多くの場合、完全なセンサ入力に依存しています。このような依存は、ロバスト性が低く、センサーが破損または欠落した場合に失敗する可能性があり、安全性に重大な懸念をもたらします。この課題に取り組むため、我々は、様々なセンサ破損に対するマルチセンサ自律走行知覚モデルのロバスト性を評価することを目的とした初の包括的ベンチマークであるマルチセンサ破損ベンチマーク（MSC-Bench）を紹介する。本ベンチマークでは、カメラとLiDARの入力を個別に、または同時に妨害する16種類の破損の組み合わせが含まれています。6つの3D物体検出モデルと4つのHDマップ構築モデルの広範な評価により、悪天候やセンサー故障の下で大幅な性能劣化が明らかになり、重大な安全問題が浮き彫りになりました。ベンチマークツールキットと関連コード、モデルのチェックポイントは一般に公開されています。

要約(オリジナル)

Multi-sensor fusion models play a crucial role in autonomous driving perception, particularly in tasks like 3D object detection and HD map construction. These models provide essential and comprehensive static environmental information for autonomous driving systems. While camera-LiDAR fusion methods have shown promising results by integrating data from both modalities, they often depend on complete sensor inputs. This reliance can lead to low robustness and potential failures when sensors are corrupted or missing, raising significant safety concerns. To tackle this challenge, we introduce the Multi-Sensor Corruption Benchmark (MSC-Bench), the first comprehensive benchmark aimed at evaluating the robustness of multi-sensor autonomous driving perception models against various sensor corruptions. Our benchmark includes 16 combinations of corruption types that disrupt both camera and LiDAR inputs, either individually or concurrently. Extensive evaluations of six 3D object detection models and four HD map construction models reveal substantial performance degradation under adverse weather conditions and sensor failures, underscoring critical safety issues. The benchmark toolkit and affiliated code and model checkpoints have been made publicly accessible.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL