V2X-R: Cooperative LiDAR-4D Radar Fusion for 3D Object Detection with Denoising Diffusion

要約

現在の Vehicle-to-Everything (V2X) システムでは、LiDAR とカメラ データを使用した 3D 物体検出が大幅に強化されています。
ただし、これらの方法は悪天候条件下ではパフォーマンスが低下します。
耐候性 4D レーダーはドップラー情報と追加の幾何学的情報を提供し、この課題に対処できる可能性を高めます。
この目的を達成するために、LiDAR、カメラ、4D レーダーを組み込んだ最初のシミュレートされた V2X データセットである V2X-R を紹介します。
V2X-R には、LiDAR および 4D レーダー点群の 37,727 フレーム、150,908 枚の画像、および 170,859 個の注釈付き 3D 車両境界ボックスを含む 12,079 のシナリオが含まれています。
続いて、3D 物体検出のための新しい協調型 LiDAR-4D レーダー融合パイプラインを提案し、それをさまざまな融合戦略で実装します。
天候に強い検出を実現するために、融合パイプラインにマルチモーダルノイズ除去拡散 (MDD) モジュールを追加提案します。
MDD は、拡散モデルにノイズの多い LiDAR 機能のノイズを除去するよう促すための条件として、耐候性の 4D レーダー機能を利用します。
実験の結果、LiDAR-4D レーダー フュージョン パイプラインが V2X-R データセットで優れたパフォーマンスを発揮することが示されました。
これに加えて、当社の MDD モジュールは、通常のパフォーマンスをほとんど損なうことなく、霧や雪の条件下で基本的なフュージョン モデルのパフォーマンスを最大 5.73%/6.70% 向上させました。
データセットとコードは、https://github.com/ylwhxht/V2X-R で公開されます。

要約(オリジナル)

Current Vehicle-to-Everything (V2X) systems have significantly enhanced 3D object detection using LiDAR and camera data. However, these methods suffer from performance degradation in adverse weather conditions. The weatherrobust 4D radar provides Doppler and additional geometric information, raising the possibility of addressing this challenge. To this end, we present V2X-R, the first simulated V2X dataset incorporating LiDAR, camera, and 4D radar. V2X-R contains 12,079 scenarios with 37,727 frames of LiDAR and 4D radar point clouds, 150,908 images, and 170,859 annotated 3D vehicle bounding boxes. Subsequently, we propose a novel cooperative LiDAR-4D radar fusion pipeline for 3D object detection and implement it with various fusion strategies. To achieve weather-robust detection, we additionally propose a Multi-modal Denoising Diffusion (MDD) module in our fusion pipeline. MDD utilizes weather-robust 4D radar feature as a condition to prompt the diffusion model to denoise noisy LiDAR features. Experiments show that our LiDAR-4D radar fusion pipeline demonstrates superior performance in the V2X-R dataset. Over and above this, our MDD module further improved the performance of basic fusion model by up to 5.73%/6.70% in foggy/snowy conditions with barely disrupting normal performance. The dataset and code will be publicly available at: https://github.com/ylwhxht/V2X-R.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google