PlanarSplatting: Accurate Planar Surface Reconstruction in 3 Minutes

要約

本稿では、マルチビュー屋内画像に対する超高速かつ高精度な表面再構成アプローチであるPlanarSplattingを紹介する。屋内シーンにおける3次元平面のコンパクトさと構造的な表現力から、3次元平面を主目的とし、3次元平面を2.5次元の奥行きと法線マップにスプラットすることにより、屋内シーンの期待される表面に適合するように学習する、明示的な最適化フレームワークを開発する。我々のPlanarSplattingは3D平面プリミティブに直接作用するため、平面表面再構成のための2D/3D平面検出と平面のマッチングとトラッキングへの依存を排除する。さらに、平面ベースの表現とCUDAベースの平面スプラッティング関数の実装という本質的な利点により、PlanarSplattingは屋内シーンを3分で再構成し、幾何学的精度を大幅に向上させます。この超高速再構成速度のおかげで、ScanNetとScanNet++データセットを用いた数百シーンに及ぶ最大の定量評価により、本手法の優位性が明確に示されました。我々は、この正確で超高速な平面表面再構成法が、将来、表面再構成のための構造化データキュレーションに応用されることを信じている。我々のCUDA実装のコードは公開される予定である。プロジェクトページ: https://icetttb.github.io/PlanarSplatting/

要約(オリジナル)

This paper presents PlanarSplatting, an ultra-fast and accurate surface reconstruction approach for multiview indoor images. We take the 3D planes as the main objective due to their compactness and structural expressiveness in indoor scenes, and develop an explicit optimization framework that learns to fit the expected surface of indoor scenes by splatting the 3D planes into 2.5D depth and normal maps. As our PlanarSplatting operates directly on the 3D plane primitives, it eliminates the dependencies on 2D/3D plane detection and plane matching and tracking for planar surface reconstruction. Furthermore, the essential merits of plane-based representation plus CUDA-based implementation of planar splatting functions, PlanarSplatting reconstructs an indoor scene in 3 minutes while having significantly better geometric accuracy. Thanks to our ultra-fast reconstruction speed, the largest quantitative evaluation on the ScanNet and ScanNet++ datasets over hundreds of scenes clearly demonstrated the advantages of our method. We believe that our accurate and ultrafast planar surface reconstruction method will be applied in the structured data curation for surface reconstruction in the future. The code of our CUDA implementation will be publicly available. Project page: https://icetttb.github.io/PlanarSplatting/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL