Micro-macro Gaussian Splatting with Enhanced Scalability for Unconstrained Scene Reconstruction

要約

制約のない画像コレクションから3Dシーンを再構築することは、外観のばらつきのために大きな課題をもたらします。
このホワイトペーパーでは、シーン表現をグローバル、洗練された、および固有のコンポーネントに分解することにより、多様なスケール全体の3D再構成を強化する新しい方法である、スケーラブルなマイクロマクロベーブレットベースのガウススプラッティング（SMW-GS）を提案します。
SMW-GSには、次のイノベーションが組み込まれています。マイクロマクロ投影により、ガウスポイントは多様性を改善してマルチスケールの詳細をサンプリングできます。
また、頻度ドメイン情報を使用して機能表現を改良し、複雑なシーンの外観をよりよくキャプチャするウェーブレットベースのサンプリング。
スケーラビリティを実現するために、ガウスポイントへの貢献を最大化し、広大な環境でも一貫した高品質の再構築を達成することにより、カメラビューをシーンパーティションに最適に割り当てる大規模なシーンプロモーション戦略をさらに提案します。
広範な実験は、SMW-GSが再構成の品質とスケーラビリティの両方で既存の方法を大幅に上回ることを示しています。
プロジェクトはhttps://github.com/kidleyh/smw-gsで入手できます。

要約(オリジナル)

Reconstructing 3D scenes from unconstrained image collections poses significant challenges due to variations in appearance. In this paper, we propose Scalable Micro-macro Wavelet-based Gaussian Splatting (SMW-GS), a novel method that enhances 3D reconstruction across diverse scales by decomposing scene representations into global, refined, and intrinsic components. SMW-GS incorporates the following innovations: Micro-macro Projection, which enables Gaussian points to sample multi-scale details with improved diversity; and Wavelet-based Sampling, which refines feature representations using frequency-domain information to better capture complex scene appearances. To achieve scalability, we further propose a large-scale scene promotion strategy, which optimally assigns camera views to scene partitions by maximizing their contributions to Gaussian points, achieving consistent and high-quality reconstructions even in expansive environments. Extensive experiments demonstrate that SMW-GS significantly outperforms existing methods in both reconstruction quality and scalability, particularly excelling in large-scale urban environments with challenging illumination variations. Project is available at https://github.com/Kidleyh/SMW-GS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google