RadarDistill: Boosting Radar-based Object Detection Performance via Knowledge Distillation from LiDAR Features

要約

レーダーデータの固有のノイズの多い特性は、3Dオブジェクト検出の効果的な表現を見つける上で課題をもたらします。
この論文では、Ladardistillを提案します。Radardistillは、Ladardistillを提案します。これは、Lidarデータを活用することでレーダーデータの表現を改善できる新しい知識蒸留（KD）メソッドです。
Radardistillは、Cross-Modality Alignment（CMA）、アクティベーションベースの特徴蒸留（AFD）、および提案ベースの特徴蒸留（PFD）の3つの重要なコンポーネントを使用して、LIDAR機能の望ましい特性をレーダー機能に成功裏に転送します。
CMAは、複数の層の拡張操作を使用することにより、レーダー機能の密度を高め、Lidarからレーダーへの非効率的な知識移転の課題に効果的に対処します。
AFDは、ライダー機能の領域に基づいて知識を選択的に転送し、活性化強度が事前定義されたしきい値を超える領域に特に焦点を当てています。
同様に、PFDはレーダーネットワークをガイドして、オブジェクト提案内のLIDARネットワークから機能を選択的に模倣します。
Nuscenesデータセットで実施された比較分析は、RadardistillがRadarのみのオブジェクト検出タスクの最先端（SOTA）パフォーマンスを達成し、MAPで20.5％、NDSで43.7％を記録することを示しています。
また、Radardistillは、カメラレーダー融合モデルのパフォーマンスを大幅に向上させます。

要約(オリジナル)

The inherent noisy and sparse characteristics of radar data pose challenges in finding effective representations for 3D object detection. In this paper, we propose RadarDistill, a novel knowledge distillation (KD) method, which can improve the representation of radar data by leveraging LiDAR data. RadarDistill successfully transfers desirable characteristics of LiDAR features into radar features using three key components: Cross-Modality Alignment (CMA), Activation-based Feature Distillation (AFD), and Proposal-based Feature Distillation (PFD). CMA enhances the density of radar features by employing multiple layers of dilation operations, effectively addressing the challenge of inefficient knowledge transfer from LiDAR to radar. AFD selectively transfers knowledge based on regions of the LiDAR features, with a specific focus on areas where activation intensity exceeds a predefined threshold. PFD similarly guides the radar network to selectively mimic features from the LiDAR network within the object proposals. Our comparative analyses conducted on the nuScenes datasets demonstrate that RadarDistill achieves state-of-the-art (SOTA) performance for radar-only object detection task, recording 20.5% in mAP and 43.7% in NDS. Also, RadarDistill significantly improves the performance of the camera-radar fusion model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google