LiCROcc: Teach Radar for Accurate Semantic Occupancy Prediction using LiDAR and Camera

要約

セマンティック シーン コンプリーション (SSC) は自動運転の認識において極めて重要であり、天候や照明の変化の複雑さに頻繁に直面します。
長期的な戦略には、マルチモーダル情報を融合してシステムの堅牢性を強化することが含まれます。
3D ターゲット検出に利用されることが増えているレーダーは、自動運転アプリケーションにおいて徐々に LiDAR に取って代わり、堅牢なセンシングの代替手段を提供しています。
この論文では、セマンティック シーンの完成における 3D レーダーの可能性、天候や照度の変化に対する堅牢性を向上させるためのクロスモーダル改良技術の先駆け、SSC パフォーマンスの強化に焦点を当てます。モデル アーキテクチャに関しては、3 段階のタイト フュージョン アプローチを提案します。
BEV 上で点群と画像の融合フレームワークを実現します。
この基礎に基づいて、CMRD、BRD、PDD の 3 つのクロスモーダル蒸留モジュールを設計しました。
私たちのアプローチは、LiDAR とカメラの融合された機能の豊富なセマンティック情報と構造情報を抽出することにより、レーダーのみ (R-LiCROcc) 設定とレーダー カメラ (RC-LiCROcc) 設定の両方のパフォーマンスを向上させます。
最後に、LC-Fusion (教師モデル)、R-LiCROcc、RC-LiCROcc は、nuScenes-Occupancy データセットで最高のパフォーマンスを達成し、mIOU はそれぞれベースラインを 22.9%、44.1%、15.5% 上回りました。
プロジェクト ページは https://hr-zju.github.io/LiCROcc/ から入手できます。

要約(オリジナル)

Semantic Scene Completion (SSC) is pivotal in autonomous driving perception, frequently confronted with the complexities of weather and illumination changes. The long-term strategy involves fusing multi-modal information to bolster the system’s robustness. Radar, increasingly utilized for 3D target detection, is gradually replacing LiDAR in autonomous driving applications, offering a robust sensing alternative. In this paper, we focus on the potential of 3D radar in semantic scene completion, pioneering cross-modal refinement techniques for improved robustness against weather and illumination changes, and enhancing SSC performance.Regarding model architecture, we propose a three-stage tight fusion approach on BEV to realize a fusion framework for point clouds and images. Based on this foundation, we designed three cross-modal distillation modules-CMRD, BRD, and PDD. Our approach enhances the performance in both radar-only (R-LiCROcc) and radar-camera (RC-LiCROcc) settings by distilling to them the rich semantic and structural information of the fused features of LiDAR and camera. Finally, our LC-Fusion (teacher model), R-LiCROcc and RC-LiCROcc achieve the best performance on the nuScenes-Occupancy dataset, with mIOU exceeding the baseline by 22.9%, 44.1%, and 15.5%, respectively. The project page is available at https://hr-zju.github.io/LiCROcc/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google