RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird’s Eye View for 3D Object Detection

要約

最近の低コストのレーダーカメラアプローチは、マルチモーダル3Dオブジェクト検出で有望な結果を示していますが、両方のセンサーは環境および固有の障害からの課題に直面しています。
照明の悪さや有害な気象条件はカメラの性能を低下させますが、レーダーは騒音と位置的な曖昧さに苦しんでいます。
堅牢なレーダーカメラ3Dオブジェクトの検出を達成するには、さまざまな条件全体で一貫したパフォーマンスが必要です。これは、まだ完全に調査されていないトピックです。
この作業では、まず、5種類のノイズでレーダーカメラ検出における堅牢性の体系的な分析を実施し、BEVの堅牢なオブジェクト検出モデルであるRoburcdetを提案します。
具体的には、3Dガウス拡張（3DGE）モジュールを設計して、位置、レーダー断面（RCS）、速度を含むレーダーポイントの不正確さを軽減します。
3DGEは、RCSと速度プライアーを使用して、変形可能なカーネルマップとカーネルサイズの調整と値分布の分散を生成します。
さらに、カメラ信号の信頼性に基づいてレーダーとカメラの機能を適応的に融合する気象適応融合モジュールを紹介します。
人気のあるベンチマークであるNuscenesでの広範な実験は、私たちのモデルが定期的かつ騒々しい条件で競争の激しい結果を達成することを示しています。

要約(オリジナル)

While recent low-cost radar-camera approaches have shown promising results in multi-modal 3D object detection, both sensors face challenges from environmental and intrinsic disturbances. Poor lighting or adverse weather conditions degrade camera performance, while radar suffers from noise and positional ambiguity. Achieving robust radar-camera 3D object detection requires consistent performance across varying conditions, a topic that has not yet been fully explored. In this work, we first conduct a systematic analysis of robustness in radar-camera detection on five kinds of noises and propose RobuRCDet, a robust object detection model in BEV. Specifically, we design a 3D Gaussian Expansion (3DGE) module to mitigate inaccuracies in radar points, including position, Radar Cross-Section (RCS), and velocity. The 3DGE uses RCS and velocity priors to generate a deformable kernel map and variance for kernel size adjustment and value distribution. Additionally, we introduce a weather-adaptive fusion module, which adaptively fuses radar and camera features based on camera signal confidence. Extensive experiments on the popular benchmark, nuScenes, show that our model achieves competitive results in regular and noisy conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google