Diffusion-Guided Gaussian Splatting for Large-Scale Unconstrained 3D Reconstruction and Novel View Synthesis

要約

3Dガウスの飛び散（3DG）および神経放射輝度（NERF）の最近の進歩は、リアルタイムの3D再構成と新規ビューの合成で印象的な結果を達成しました。
ただし、これらの方法は、まばらで不均一な入力カバレッジ、一時的な閉塞、外観の変動性、および一貫性のないカメラ設定が品質の低下につながる大規模で制約のない環境で苦労しています。
これらの制限に対処するために、マルチビュー拡散モデルに導かれる新しい3DGSフレームワークであるGS-Diffを提案します。
マルチビュー入力に条件付けられた擬似観測を生成することにより、この方法は、制約の低い3D再構成の問題を適切に位置する問題に変換し、まばらなデータを使用しても堅牢な最適化を可能にします。
GS-diffは、外観の埋め込み、単眼の深さの前、動的オブジェクトモデリング、異方性の正規化、高度なラスター化技術など、いくつかの強化をさらに統合し、実際の設定における幾何学的および測光の課題に取り組みます。
4つのベンチマークでの実験は、GS-Diffが一貫して最先端のベースラインを大幅に上回ることを示しています。

要約(オリジナル)

Recent advancements in 3D Gaussian Splatting (3DGS) and Neural Radiance Fields (NeRF) have achieved impressive results in real-time 3D reconstruction and novel view synthesis. However, these methods struggle in large-scale, unconstrained environments where sparse and uneven input coverage, transient occlusions, appearance variability, and inconsistent camera settings lead to degraded quality. We propose GS-Diff, a novel 3DGS framework guided by a multi-view diffusion model to address these limitations. By generating pseudo-observations conditioned on multi-view inputs, our method transforms under-constrained 3D reconstruction problems into well-posed ones, enabling robust optimization even with sparse data. GS-Diff further integrates several enhancements, including appearance embedding, monocular depth priors, dynamic object modeling, anisotropy regularization, and advanced rasterization techniques, to tackle geometric and photometric challenges in real-world settings. Experiments on four benchmarks demonstrate that GS-Diff consistently outperforms state-of-the-art baselines by significant margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google