OccFiner: Offboard Occupancy Refinement with Hybrid Propagation

要約

3D セマンティック シーン補完 (SSC) とも呼ばれるビジョン ベースの占有予測は、コンピューター ビジョンに大きな課題をもたらします。
従来の方法は、オンボード処理に限定されており、同時の幾何学的推定と意味論的推定、さまざまな視点にわたる連続性、および単一ビューのオクルージョンに苦労していました。
私たちの論文では、視覚ベースの占有予測の精度を高めるために設計された新しいオフボード フレームワークである OccFiner を紹介します。
OccFiner は 2 つのハイブリッド フェーズで動作します。1) マルチツーマルチのローカル伝播ネットワーク。複数のローカル フレームを暗黙的に調整および処理して、オンボード モデルのエラーを修正し、すべての距離にわたって占有精度を一貫して向上させます。
2) 領域中心のグローバル伝播では、明示的なマルチビュー ジオメトリを使用してラベルを洗練し、センサー バイアスを統合して、特に遠くにある占有ボクセルの精度を高めることに重点を置いています。
広範な実験により、OccFiner がさまざまなタイプの粗い占有率にわたって幾何学的な精度と意味論的な精度の両方を向上させ、SemanticKITTI データセットに新しい最先端のパフォーマンスを確立することが実証されました。
特に、OccFiner はビジョンベースの SSC モデルを、LiDAR ベースのオンボード SSC モデルを上回るレベルにまで高めます。

要約(オリジナル)

Vision-based occupancy prediction, also known as 3D Semantic Scene Completion (SSC), presents a significant challenge in computer vision. Previous methods, confined to onboard processing, struggle with simultaneous geometric and semantic estimation, continuity across varying viewpoints, and single-view occlusion. Our paper introduces OccFiner, a novel offboard framework designed to enhance the accuracy of vision-based occupancy predictions. OccFiner operates in two hybrid phases: 1) a multi-to-multi local propagation network that implicitly aligns and processes multiple local frames for correcting onboard model errors and consistently enhancing occupancy accuracy across all distances. 2) the region-centric global propagation, focuses on refining labels using explicit multi-view geometry and integrating sensor bias, especially to increase the accuracy of distant occupied voxels. Extensive experiments demonstrate that OccFiner improves both geometric and semantic accuracy across various types of coarse occupancy, setting a new state-of-the-art performance on the SemanticKITTI dataset. Notably, OccFiner elevates vision-based SSC models to a level even surpassing that of LiDAR-based onboard SSC models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google