L2RDaS: Synthesizing 4D Radar Tensors for Model Generalization via Dataset Expansion

要約

4次元（4D）レーダーは、有害な気象条件下での堅牢性により、知覚タスクの自律運転でますます採用されています。
4Dレーダーデータに固有の空間情報をより適切に活用するために、最近の深い学習方法は、スパースポイントクラウドの使用から4Dレーダーテンソルに移行しました。
ただし、公開されている4Dレーダーテンソルデータセットの不足により、多様な運転シナリオ全体でモデルの一般化が制限されます。
以前の方法では、レーダーデータを合成することでこれに対処しましたが、出力は4Dレーダーの特徴的な空間情報を完全に活用しませんでした。
これらの制限を克服するために、既存の自律運転データセットで利用可能なLIDARデータからの空間的に有益な4Dレーダーテンソルを合成するフレームワークであるLidar-to-4Dレーダーデータ合成（L2RDA）を提案します。
L2RDASは、変更されたU-NETアーキテクチャを統合して、空間情報とオブジェクト情報サプリメント（OBIS）モジュールを効果的にキャプチャして、反射の忠実度を高めます。
このフレームワークにより、追加のセンサーの展開やデータ収集なしで、多様な運転シナリオ全体でレーダーテンソルを合成することができます。
L2RDAは、合成レーダーテンソルで実際のデータセットを拡張することによりモデルの一般化を改善し、3つの検出モデル全体で$ {{ap} _ {bev} _} $ {{ap} _ {3d}} $ $で平均4.25 \％と2.87 \％を達成します。
さらに、L2RDASは、注釈付きオブジェクトをLIDARデータに埋め込み、レーダーテンソルに合成することにより、グラウンドトゥルースの増強（GT-8月）をサポートし、$ {ap} _ {bev}}}} $ 4.03 \％{ap {ap}}}}}}}}}}}}}}}} $ 4.03の平均増加をもたらします。
実装はhttps://github.com/kaist-avelab/k-radarで入手できます。

要約(オリジナル)

4-dimensional (4D) radar is increasingly adopted in autonomous driving for perception tasks, owing to its robustness under adverse weather conditions. To better utilize the spatial information inherent in 4D radar data, recent deep learning methods have transitioned from using sparse point cloud to 4D radar tensors. However, the scarcity of publicly available 4D radar tensor datasets limits model generalization across diverse driving scenarios. Previous methods addressed this by synthesizing radar data, but the outputs did not fully exploit the spatial information characteristic of 4D radar. To overcome these limitations, we propose LiDAR-to-4D radar data synthesis (L2RDaS), a framework that synthesizes spatially informative 4D radar tensors from LiDAR data available in existing autonomous driving datasets. L2RDaS integrates a modified U-Net architecture to effectively capture spatial information and an object information supplement (OBIS) module to enhance reflection fidelity. This framework enables the synthesis of radar tensors across diverse driving scenarios without additional sensor deployment or data collection. L2RDaS improves model generalization by expanding real datasets with synthetic radar tensors, achieving an average increase of 4.25\% in ${{AP}_{BEV}}$ and 2.87\% in ${{AP}_{3D}}$ across three detection models. Additionally, L2RDaS supports ground-truth augmentation (GT-Aug) by embedding annotated objects into LiDAR data and synthesizing them into radar tensors, resulting in further average increases of 3.75\% in ${{AP}_{BEV}}$ and 4.03\% in ${{AP}_{3D}}$. The implementation will be available at https://github.com/kaist-avelab/K-Radar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google