UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering

要約

この技術レポートでは、CVPR 2023 の nuScenes Open Dataset Challenge におけるビジョン中心の 3D 占有予測トラック用の UniOCC という名前のソリューションを紹介します。占有予測の既存の方法は、主に 3D 占有を使用して 3D ボリューム空間上に投影されたフィーチャを最適化することに焦点を当てています。
ラベル。
ただし、これらのラベルの生成プロセスは複雑で高価であり（3D セマンティック アノテーションに依存）、ボクセル解像度によって制限されるため、きめ細かい空間セマンティクスを提供できません。
この制限に対処するために、空間幾何学的制約を明示的に課し、ボリューム レイ レンダリングを通じてきめ細かいセマンティック監視を補完する、新しい Unifying Occupancy (UniOcc) 予測方法を提案します。
私たちの方法はモデルのパフォーマンスを大幅に向上させ、人間によるアノテーションのコスト削減において有望な可能性を示しています。
3D 占有率に注釈を付けるのは面倒な性質であることを考慮して、ラベルのないデータを使用して予測精度を向上させるために、深度認識教師生徒 (DTS) フレームワークをさらに導入します。
当社のソリューションは、単一モデルの公式リーダーボードで 51.27\% mIoU を達成し、このチャレンジで 3 位になりました。

要約(オリジナル)

In this technical report, we present our solution, named UniOCC, for the Vision-Centric 3D occupancy prediction track in the nuScenes Open Dataset Challenge at CVPR 2023. Existing methods for occupancy prediction primarily focus on optimizing projected features on 3D volume space using 3D occupancy labels. However, the generation process of these labels is complex and expensive (relying on 3D semantic annotations), and limited by voxel resolution, they cannot provide fine-grained spatial semantics. To address this limitation, we propose a novel Unifying Occupancy (UniOcc) prediction method, explicitly imposing spatial geometry constraint and complementing fine-grained semantic supervision through volume ray rendering. Our method significantly enhances model performance and demonstrates promising potential in reducing human annotation costs. Given the laborious nature of annotating 3D occupancy, we further introduce a Depth-aware Teacher Student (DTS) framework to enhance prediction accuracy using unlabeled data. Our solution achieves 51.27\% mIoU on the official leaderboard with single model, placing 3rd in this challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google