Occ-BEV: Multi-Camera Unified Pre-training via 3D Scene Reconstruction

要約

マルチカメラ 3D 認識は、自動運転における著名な研究分野として浮上しており、LiDAR ベースのソリューションに代わる実行可能でコスト効率の高い代替手段を提供します。
しかし、既存のマルチカメラ アルゴリズムは主に単眼画像の事前トレーニングに依存しており、異なるカメラ ビュー間の空間的および時間的相関を見落としています。
この制限に対処するために、私たちは Occ-BEV と呼ばれる新しいマルチカメラ統合事前トレーニング フレームワークを提案します。これには、最初に基礎段階として 3D シーンを再構築し、その後下流のタスクでモデルを微調整することが含まれます。
具体的には、3D デコーダは、マルチビュー画像から鳥瞰図 (BEV) 機能を活用して 3D ジオメトリの占有率を予測し、モデルが 3D 環境をより包括的に理解できるようにするように設計されています。
Occ-BEV の大きな利点の 1 つは、事前トレーニングに大量のラベルなしの画像と LiDAR のペアを利用できることです。
提案されたマルチカメラ統合事前トレーニング フレームワークは、マルチカメラ 3D オブジェクト検出やセマンティック シーン完成などの重要なタスクにおいて有望な結果を示しています。
nuScenes データセットでの単眼事前トレーニング方法と比較した場合、Occ-BEV は、3D オブジェクト検出に関して mAP で 2.0%、NDS で 2.0% という大幅な改善を示し、また、セマンティック シーンの完了に関しては mIOU で 0.8% 増加しました。
コードは https://github.com/chaytonmin/Occ-BEV で公開されています。

要約(オリジナル)

Multi-camera 3D perception has emerged as a prominent research field in autonomous driving, offering a viable and cost-effective alternative to LiDAR-based solutions. However, existing multi-camera algorithms primarily rely on monocular image pre-training, which overlooks the spatial and temporal correlations among different camera views. To address this limitation, we propose a novel multi-camera unified pre-training framework called Occ-BEV, which involves initially reconstructing the 3D scene as the foundational stage and subsequently fine-tuning the model on downstream tasks. Specifically, a 3D decoder is designed for leveraging Bird’s Eye View (BEV) features from multi-view images to predict the 3D geometry occupancy to enable the model to capture a more comprehensive understanding of the 3D environment. One significant advantage of Occ-BEV is that it can utilize a vast amount of unlabeled image-LiDAR pairs for pre-training. The proposed multi-camera unified pre-training framework demonstrates promising results in key tasks such as multi-camera 3D object detection and semantic scene completion. When compared to monocular pre-training methods on the nuScenes dataset, Occ-BEV demonstrates a significant improvement of 2.0% in mAP and 2.0% in NDS for 3D object detection, as well as a 0.8% increase in mIOU for semantic scene completion. codes are publicly available at https://github.com/chaytonmin/Occ-BEV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google