Advancing 3D Gaussian Splatting Editing with Complementary and Consensus Information

要約

We present a novel framework for enhancing the visual fidelity and consistency of text-guided 3D Gaussian Splatting (3DGS) editing.
既存の編集アプローチは、2つの重要な課題に直面しています。特に挑戦的なカメラの位置における複数の視点にわたる一貫性のない幾何学的再構成と、画像操作中の深さ情報の効果的な利用は、テクスチャのアーティファクトと分解されたオブジェクトの境界をもたらします。
これらの制限に対処するために、次のように紹介します。1）3DGSからの深度マップ推定を強化する補完的な情報相互学習ネットワークを紹介し、幾何学的構造を保存しながら正確な深さ条件付き3D編集を可能にします。
2）拡散除去プロセス中に潜在コードを効果的に整列させ、編集された結果のマルチビューの一貫性を確保するウェーブレットコンセンサス注意メカニズム。
広範な実験を通じて、私たちの方法は、最先端のアプローチと比較して、品質とビューの一貫性をレンダリングする上で優れたパフォーマンスを示しています。
The results validate our framework as an effective solution for text-guided editing of 3D scenes.

要約(オリジナル)

We present a novel framework for enhancing the visual fidelity and consistency of text-guided 3D Gaussian Splatting (3DGS) editing. Existing editing approaches face two critical challenges: inconsistent geometric reconstructions across multiple viewpoints, particularly in challenging camera positions, and ineffective utilization of depth information during image manipulation, resulting in over-texture artifacts and degraded object boundaries. To address these limitations, we introduce: 1) A complementary information mutual learning network that enhances depth map estimation from 3DGS, enabling precise depth-conditioned 3D editing while preserving geometric structures. 2) A wavelet consensus attention mechanism that effectively aligns latent codes during the diffusion denoising process, ensuring multi-view consistency in the edited results. Through extensive experimentation, our method demonstrates superior performance in rendering quality and view consistency compared to state-of-the-art approaches. The results validate our framework as an effective solution for text-guided editing of 3D scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google