Drag Your Gaussian: Effective Drag-Based Editing with Score Distillation for 3D Gaussian Splatting

要約

3Dシーンの編集における最近の進歩は、生成モデルの急速な発展によって推進されています。
既存の方法は通常、生成モデルを利用して、3Dガウススプラッティング（3DG）などの3D表現でテキスト誘導編集を実行します。
ただし、これらの方法は多くの場合、テクスチャの変更に限定され、キャラクターの頭を編集して向きを変えるなど、幾何学的な変更に対処するときに失敗します。
さらに、そのような方法には、編集の程度を正確に説明するために言語が苦労しているため、結果の編集の空間的位置に対する正確な制御がありません。
これらの制限を克服するために、3Dガウススプラッティングのための効果的な3Dドラッグベースの編集方法であるDYGを導入します。
ユーザーは、3Dマスクの入力とコントロールポイントのペアを介して、目的の編集領域と目的のドラッグ方向を便利に指定できるため、編集の範囲を正確に制御できます。
DYGは、暗黙のトリプレーン表現の強度を統合して、編集結果の幾何学的足場を確立し、目的の編集領域での3DGのスパースによって引き起こされる次の編集結果を効果的に克服します。
さらに、提案されたドラッグSDS損失関数を介して、ドラッグベースの潜在拡散モデルをメソッドに組み込み、柔軟な、マルチビューの一貫性、細粒の編集を可能にします。
広範な実験は、DYGが制御ポイントプロンプトによって誘導された効果的な抗力ベースの編集を実施し、質的および定量的に編集効果と品質の観点から他のベースラインを上回っていることを示しています。
https://quyans.github.io/drag-your-gaussianのプロジェクトページをご覧ください。

要約(オリジナル)

Recent advancements in 3D scene editing have been propelled by the rapid development of generative models. Existing methods typically utilize generative models to perform text-guided editing on 3D representations, such as 3D Gaussian Splatting (3DGS). However, these methods are often limited to texture modifications and fail when addressing geometric changes, such as editing a character’s head to turn around. Moreover, such methods lack accurate control over the spatial position of editing results, as language struggles to precisely describe the extent of edits. To overcome these limitations, we introduce DYG, an effective 3D drag-based editing method for 3D Gaussian Splatting. It enables users to conveniently specify the desired editing region and the desired dragging direction through the input of 3D masks and pairs of control points, thereby enabling precise control over the extent of editing. DYG integrates the strengths of the implicit triplane representation to establish the geometric scaffold of the editing results, effectively overcoming suboptimal editing outcomes caused by the sparsity of 3DGS in the desired editing regions. Additionally, we incorporate a drag-based Latent Diffusion Model into our method through the proposed Drag-SDS loss function, enabling flexible, multi-view consistent, and fine-grained editing. Extensive experiments demonstrate that DYG conducts effective drag-based editing guided by control point prompts, surpassing other baselines in terms of editing effect and quality, both qualitatively and quantitatively. Visit our project page at https://quyans.github.io/Drag-Your-Gaussian.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google