Benchmarking Robustness of 3D Object Detection to Common Corruptions in Autonomous Driving

要約

3Dオブジェクト検出は、自動運転において周囲を認識する重要なタスクです。
優れた性能にもかかわらず、既存の 3D 検出器は、悪天候やセンサー ノイズなどによって引き起こされる現実世界の破損に対する堅牢性に欠けており、自動運転システムの安全性と信頼性に関する懸念を引き起こしています。
3D 検出器の破損の堅牢性を包括的かつ厳密にベンチマークするために、このペーパーでは、実際の運転シナリオを考慮して、LiDAR とカメラ入力の両方に共通する 27 種類の破損を設計します。
パブリック データセットでこれらの破損を合成することにより、3 つの破損堅牢性ベンチマーク (KITTI-C、nuScenes-C、および Waymo-C) を確立します。
次に、破損の堅牢性を評価するために、24 の多様な 3D オブジェクト検出モデルに対して大規模な実験を行います。
評価結果に基づいて、次のようないくつかの重要な調査結果を引き出します。1) モーション レベルの破損は、すべてのモデルの大幅なパフォーマンス低下につながる最も脅威的なものです。
2) LiDAR カメラ フュージョン モデルは、より優れたロバスト性を示します。
3) カメラのみのモデルは画像の破損に対して非常に脆弱であり、LiDAR 点群が不可欠であることを示しています。
https://github.com/kkkcx/3D_Corruptions_AD でベンチマークとコードをリリースします。
私たちのベンチマークと調査結果が、堅牢な 3D オブジェクト検出モデルの開発に関する将来の研究に洞察を提供できることを願っています。

要約(オリジナル)

3D object detection is an important task in autonomous driving to perceive the surroundings. Despite the excellent performance, the existing 3D detectors lack the robustness to real-world corruptions caused by adverse weathers, sensor noises, etc., provoking concerns about the safety and reliability of autonomous driving systems. To comprehensively and rigorously benchmark the corruption robustness of 3D detectors, in this paper we design 27 types of common corruptions for both LiDAR and camera inputs considering real-world driving scenarios. By synthesizing these corruptions on public datasets, we establish three corruption robustness benchmarks — KITTI-C, nuScenes-C, and Waymo-C. Then, we conduct large-scale experiments on 24 diverse 3D object detection models to evaluate their corruption robustness. Based on the evaluation results, we draw several important findings, including: 1) motion-level corruptions are the most threatening ones that lead to significant performance drop of all models; 2) LiDAR-camera fusion models demonstrate better robustness; 3) camera-only models are extremely vulnerable to image corruptions, showing the indispensability of LiDAR point clouds. We release the benchmarks and codes at https://github.com/kkkcx/3D_Corruptions_AD. We hope that our benchmarks and findings can provide insights for future research on developing robust 3D object detection models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google