CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking

要約

自動運転車を可能にするためには、周囲の物体の正確な検出と追跡が不可欠です。
Light Detection and Ranging (LiDAR) センサーは高性能システムのベンチマークとなっていますが、カメラのみのソリューションの魅力はその費用対効果にあります。
特に、自動車システムでは無線探知測距 (RADAR) センサーが広く使用されているにもかかわらず、3D 検出と追跡におけるその可能性は、データの希薄性と測定ノイズのせいでほとんど無視されてきました。
最近の発展として、レーダーとカメラの組み合わせが有望なソリューションとして浮上しています。
このペーパーでは、3D オブジェクト検出のためのカメラとレーダーの融合モデルであるカメラとレーダーの 3D 検出および追跡 (CR3DT)、およびマルチオブジェクト追跡 (MOT) について説明します。
CR3DT は、最先端 (SotA) カメラ専用 BEVDet アーキテクチャの基礎を基盤としており、レーダー センサーの空間情報と速度情報を組み込むことにより、検出機能と追跡機能の両方が大幅に向上しています。
実験結果では、両方のモダリティを活用した場合、nuScenes データセット上で平均平均精度 (mAP) で 5.3% の検出パフォーマンスの絶対的な向上と、平均複数物体追跡精度 (AMOTA) の 14.9% の向上が実証されました。
CR3DT は、自動車アプリケーションで遍在するレーダーの存在を利用することで、自動運転における高性能とコスト効率の高い認識システムの間のギャップを埋めます。
コードは https://github.com/ETH-PBL/CR3DT から入手できます。

要約(オリジナル)

To enable self-driving vehicles accurate detection and tracking of surrounding objects is essential. While Light Detection and Ranging (LiDAR) sensors have set the benchmark for high-performance systems, the appeal of camera-only solutions lies in their cost-effectiveness. Notably, despite the prevalent use of Radio Detection and Ranging (RADAR) sensors in automotive systems, their potential in 3D detection and tracking has been largely disregarded due to data sparsity and measurement noise. As a recent development, the combination of RADARs and cameras is emerging as a promising solution. This paper presents Camera-RADAR 3D Detection and Tracking (CR3DT), a camera-RADAR fusion model for 3D object detection, and Multi-Object Tracking (MOT). Building upon the foundations of the State-of-the-Art (SotA) camera-only BEVDet architecture, CR3DT demonstrates substantial improvements in both detection and tracking capabilities, by incorporating the spatial and velocity information of the RADAR sensor. Experimental results demonstrate an absolute improvement in detection performance of 5.3% in mean Average Precision (mAP) and a 14.9% increase in Average Multi-Object Tracking Accuracy (AMOTA) on the nuScenes dataset when leveraging both modalities. CR3DT bridges the gap between high-performance and cost-effective perception systems in autonomous driving, by capitalizing on the ubiquitous presence of RADAR in automotive applications. The code is available at: https://github.com/ETH-PBL/CR3DT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google