LEROjD: Lidar Extended Radar-Only Object Detection

要約

自動運転には正確な 3D オブジェクト検出が不可欠です。
LIDAR センサーはこのタスクには適していますが、高価であり、悪天候時には制限があります。
3+1D イメージング レーダー センサーは、コスト効率が高く堅牢な代替手段を提供しますが、解像度が低く、測定ノイズが高いため、課題に直面しています。
既存の 3+1D イメージング レーダー データセットにはレーダー データと LIDAR データが含まれており、クロスモーダル モデルの改善が可能になります。
LIDAR は推論中に使用すべきではありませんが、レーダーのみの物体検出器のトレーニングには役立ちます。
私たちは、LIDAR からレーダー領域およびレーダー専用の物体検出器に知識を転送するための 2 つの戦略を検討します。1. 順次 LIDAR 点群の間引きによる多段階トレーニング、および 2. クロスモーダル知識の蒸留です。
多段階のプロセスでは、3 つの間引き方法が検討されます。
私たちの結果は、教師の重みで生徒を初期化することによる、多段階トレーニングでは平均平均精度で最大 4.2 パーセント ポイント、知識蒸留では最大 3.9 パーセント ポイントという大幅なパフォーマンスの向上を示しています。
これらのアプローチの主な利点は、2 つの異なる物体検出器で分析することで示すように、アーキテクチャを変更することなく他の 3D 物体検出ネットワークに適用できることです。
私たちのコードは https://github.com/rst-tu-dortmund/lerojd で入手できます。

要約(オリジナル)

Accurate 3D object detection is vital for automated driving. While lidar sensors are well suited for this task, they are expensive and have limitations in adverse weather conditions. 3+1D imaging radar sensors offer a cost-effective, robust alternative but face challenges due to their low resolution and high measurement noise. Existing 3+1D imaging radar datasets include radar and lidar data, enabling cross-modal model improvements. Although lidar should not be used during inference, it can aid the training of radar-only object detectors. We explore two strategies to transfer knowledge from the lidar to the radar domain and radar-only object detectors: 1. multi-stage training with sequential lidar point cloud thin-out, and 2. cross-modal knowledge distillation. In the multi-stage process, three thin-out methods are examined. Our results show significant performance gains of up to 4.2 percentage points in mean Average Precision with multi-stage training and up to 3.9 percentage points with knowledge distillation by initializing the student with the teacher’s weights. The main benefit of these approaches is their applicability to other 3D object detection networks without altering their architecture, as we show by analyzing it on two different object detectors. Our code is available at https://github.com/rst-tu-dortmund/lerojd

arxiv情報

提供元, 利用サービス

arxiv.jp, Google