View-Consistent 3D Editing with Gaussian Splatting

要約

3D ガウス スプラッティング (3DGS) の出現は 3D 編集に革命をもたらし、効率的で忠実度の高いレンダリングを提供し、正確なローカル操作を可能にしました。
現在、拡散ベースの 2D 編集モデルを利用して、マルチビューのレンダリング画像を変更し、それが 3DGS モデルの編集をガイドします。
ただし、このアプローチは、マルチビューの不一致という重大な問題に直面しています。この問題では、ガイダンス画像がビュー間で重大な不一致を示し、モード崩壊や 3DGS の視覚的なアーティファクトが発生します。
この目的を達成するために、3DGS を画像編集プロセスにシームレスに組み込み、編集されたガイダンス画像のマルチビューの一貫性を確保し、モード崩壊の問題を効果的に軽減する新しいフレームワークである View-consistent Editing (VcEdit) を導入します。
VcEdit は、クロスアテンション一貫性モジュールと編集一貫性モジュールという 2 つの革新的な一貫性モジュールを採用しており、どちらも編集された画像の不一致を減らすように設計されています。
これらの一貫性モジュールを反復パターンに組み込むことで、VcEdit はマルチビューの不一致の問題を適切に解決し、さまざまなシーンにわたる高品質の 3DGS 編集を容易にします。

要約(オリジナル)

The advent of 3D Gaussian Splatting (3DGS) has revolutionized 3D editing, offering efficient, high-fidelity rendering and enabling precise local manipulations. Currently, diffusion-based 2D editing models are harnessed to modify multi-view rendered images, which then guide the editing of 3DGS models. However, this approach faces a critical issue of multi-view inconsistency, where the guidance images exhibit significant discrepancies across views, leading to mode collapse and visual artifacts of 3DGS. To this end, we introduce View-consistent Editing (VcEdit), a novel framework that seamlessly incorporates 3DGS into image editing processes, ensuring multi-view consistency in edited guidance images and effectively mitigating mode collapse issues. VcEdit employs two innovative consistency modules: the Cross-attention Consistency Module and the Editing Consistency Module, both designed to reduce inconsistencies in edited images. By incorporating these consistency modules into an iterative pattern, VcEdit proficiently resolves the issue of multi-view inconsistency, facilitating high-quality 3DGS editing across a diverse range of scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google