MoRAL: Motion-aware Multi-Frame 4D Radar and LiDAR Fusion for Robust 3D Object Detection

要約

信頼性の高い自律駆動システムには、交通参加者の正確な検出が必要です。
この目的のために、マルチモーダル融合は効果的な戦略として浮上しています。
特に、マルチフレームレーダーポイントクラウドに基づく4Dレーダーおよびライダー融合法は、点密度ギャップを埋める際の有効性を実証しています。
しかし、彼らはしばしば、蓄積中のオブジェクトの動きによって引き起こされるレーダーポイントクラウドのフレーム間不整合を無視し、4Dレーダーからオブジェクトの動的情報を完全に活用しません。
この論文では、堅牢な3Dオブジェクト検出のためのモーションを受けたマルチフレーム4Dレーダーとライダーフュージョンフレームワークであるモラルを提案します。
まず、モーション認識レーダーエンコーダー（MRE）は、移動するオブジェクトからのフレーム間のレーダーの不整合を補うように設計されています。
その後、動きの注意ゲートフュージョン（MAGF）モジュールがレーダーモーション機能を統合して、LIDAR機能をガイドして動的な前景オブジェクトに焦点を当てます。
Delft（VOD）データセットに関する広範な評価は、道徳的な既存の方法を上回ることを示しており、領域全体で73.30％、駆動回廊で88.68％の最高マップを達成することを示しています。
特に、私たちの方法は、地域全体の歩行者で69.67％の最高のAP、運転廊下のサイクリストで96.25％を達成しています。

要約(オリジナル)

Reliable autonomous driving systems require accurate detection of traffic participants. To this end, multi-modal fusion has emerged as an effective strategy. In particular, 4D radar and LiDAR fusion methods based on multi-frame radar point clouds have demonstrated the effectiveness in bridging the point density gap. However, they often neglect radar point clouds’ inter-frame misalignment caused by object movement during accumulation and do not fully exploit the object dynamic information from 4D radar. In this paper, we propose MoRAL, a motion-aware multi-frame 4D radar and LiDAR fusion framework for robust 3D object detection. First, a Motion-aware Radar Encoder (MRE) is designed to compensate for inter-frame radar misalignment from moving objects. Later, a Motion Attention Gated Fusion (MAGF) module integrate radar motion features to guide LiDAR features to focus on dynamic foreground objects. Extensive evaluations on the View-of-Delft (VoD) dataset demonstrate that MoRAL outperforms existing methods, achieving the highest mAP of 73.30% in the entire area and 88.68% in the driving corridor. Notably, our method also achieves the best AP of 69.67% for pedestrians in the entire area and 96.25% for cyclists in the driving corridor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google