LiRCDepth: Lightweight Radar-Camera Depth Estimation via Knowledge Distillation and Uncertainty Guidance

要約

最近、レーダー センサーがカメラの制限を補う幾何学的情報を提供するため、レーダーとカメラの融合アルゴリズムが大きな注目を集めています。
しかし、既存のレーダーカメラの深度推定アルゴリズムのほとんどは、パフォーマンスの向上のみに焦点を当てており、計算効率を無視していることがよくあります。
このギャップに対処するために、軽量のレーダーカメラ深度推定モデルである LiRCDepth を提案します。
知識の蒸留を組み込んでトレーニング プロセスを強化し、3 つの主要な領域で重要な情報を複雑な教師モデルから軽量な生徒モデルに転送します。
まず、ピクセル単位およびペア単位の蒸留を組み込むことによって、低レベルおよび高レベルの特徴が転送されます。
さらに、デコード中に中間深度マップを洗練するために、不確実性を考慮した深度間蒸留損失を導入します。
私たちが提案した知識蒸留スキームを活用することで、軽量モデルは、蒸留なしでトレーニングされたモデルと比較して、nuScenes データセットの MAE で 6.6% の改善を達成しました。
コード: https://github.com/harborsarah/LiRCDepth

要約(オリジナル)

Recently, radar-camera fusion algorithms have gained significant attention as radar sensors provide geometric information that complements the limitations of cameras. However, most existing radar-camera depth estimation algorithms focus solely on improving performance, often neglecting computational efficiency. To address this gap, we propose LiRCDepth, a lightweight radar-camera depth estimation model. We incorporate knowledge distillation to enhance the training process, transferring critical information from a complex teacher model to our lightweight student model in three key domains. Firstly, low-level and high-level features are transferred by incorporating pixel-wise and pair-wise distillation. Additionally, we introduce an uncertainty-aware inter-depth distillation loss to refine intermediate depth maps during decoding. Leveraging our proposed knowledge distillation scheme, the lightweight model achieves a 6.6% improvement in MAE on the nuScenes dataset compared to the model trained without distillation. Code: https://github.com/harborsarah/LiRCDepth

arxiv情報

提供元, 利用サービス

arxiv.jp, Google