AuraFusion360: Augmented Unseen Region Alignment for Reference-based 360° Unbounded Scene Inpainting

要約

3次元のシーンの入力は、仮想現実からアーキテクチャの視覚化までのアプリケーションにとって非常に重要ですが、既存の方法は、360 {\ deg}無制限のシーンでの視界の一貫性と幾何学的精度に苦しんでいます。
Gaussian Splattingに代表される3Dシーンで高品質のオブジェクトの除去と穴の充填を可能にする新しい参照ベースの方法であるAurafusion360を提示します。
私たちのアプローチでは、（1）正確な閉塞識別のために（1）深さに対応していないマスク生成、（2）適応誘導深度拡散、追加のトレーニングを必要とせずに正確な初期点配置のためのゼロショット方法、および（3）マルチビューコヒーレンスのためのSDEDITベースの詳細強化。
また、360-USIDである360 {\ deg}の最初の包括的なデータセットであり、グラウンドトゥルースで入力されています。
広範な実験は、Aurafusion360が既存の方法を大幅に上回り、劇的な視点の変化全体で幾何学的精度を維持しながら優れた知覚品質を達成することを示しています。

要約(オリジナル)

Three-dimensional scene inpainting is crucial for applications from virtual reality to architectural visualization, yet existing methods struggle with view consistency and geometric accuracy in 360{\deg} unbounded scenes. We present AuraFusion360, a novel reference-based method that enables high-quality object removal and hole filling in 3D scenes represented by Gaussian Splatting. Our approach introduces (1) depth-aware unseen mask generation for accurate occlusion identification, (2) Adaptive Guided Depth Diffusion, a zero-shot method for accurate initial point placement without requiring additional training, and (3) SDEdit-based detail enhancement for multi-view coherence. We also introduce 360-USID, the first comprehensive dataset for 360{\deg} unbounded scene inpainting with ground truth. Extensive experiments demonstrate that AuraFusion360 significantly outperforms existing methods, achieving superior perceptual quality while maintaining geometric accuracy across dramatic viewpoint changes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google