FB-OCC: 3D Occupancy Prediction based on Forward-Backward View Transformation

要約

この技術レポートは、エンドツーエンド自動運転ワークショップに関する CVPR 2023 ワークショップおよびビジョンセントリック自動運転ワークショップに関する CVPR 23 ワークショップと併せて開催される 3D 占有予測チャレンジの優勝ソリューションを要約しています。
当社が提案するソリューション FB-OCC は、前方後方投影を使用した最先端のカメラベースの鳥瞰図認識設計である FB-BEV に基づいて構築されています。
FB-BEV に加えて、結合深度セマンティック事前トレーニング、結合ボクセル BEV 表現、モデルのスケールアップ、効果的な後処理戦略など、3D 占有予測タスクに合わせた新しい設計と最適化をさらに研究します。
これらの設計と最適化の結果、nuScenes データセットで 54.19% という最先端の mIoU スコアが得られ、チャレンジ トラックで 1 位にランクされました。
コードとモデルは https://github.com/NVlabs/FB-BEV でリリースされます。

要約(オリジナル)

This technical report summarizes the winning solution for the 3D Occupancy Prediction Challenge, which is held in conjunction with the CVPR 2023 Workshop on End-to-End Autonomous Driving and CVPR 23 Workshop on Vision-Centric Autonomous Driving Workshop. Our proposed solution FB-OCC builds upon FB-BEV, a cutting-edge camera-based bird’s-eye view perception design using forward-backward projection. On top of FB-BEV, we further study novel designs and optimization tailored to the 3D occupancy prediction task, including joint depth-semantic pre-training, joint voxel-BEV representation, model scaling up, and effective post-processing strategies. These designs and optimization result in a state-of-the-art mIoU score of 54.19% on the nuScenes dataset, ranking the 1st place in the challenge track. Code and models will be released at: https://github.com/NVlabs/FB-BEV.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google