3D Gaussian Editing with A Single Image

要約

現実世界からキャプチャされた 3D シーンのモデリングと操作は、さまざまなアプリケーションにおいて極めて重要であり、研究への関心が高まっています。
これまでの編集作業では、3D メッシュの操作によって興味深い結果が得られましたが、多くの場合、編集を実行するには正確に再構成されたメッシュが必要となるため、3D コンテンツ生成への応用が制限されます。
このギャップに対処するために、3D ガウス スプラッティングに基づく新しい単一イメージ駆動の 3D シーン編集アプローチを導入し、2D イメージ プレーン上のコンテンツを直接編集することで直感的な操作を可能にします。
私たちのメソッドは、元のシーンのユーザー指定の視点からレンダリングされた画像の編集済みバージョンに合わせて 3D ガウスを最適化することを学習します。
長距離オブジェクトの変形を捉えるために、3D ガウス スプラッティングの最適化プロセスに位置損失を導入し、再パラメータ化による勾配伝播を可能にします。
指定された視点からレンダリングするときにオクルージョンされた 3D ガウスを処理するために、アンカーベースの構造を構築し、構造の安定性を維持しながら長距離の変形を処理できる粗から細かい最適化戦略を採用します。
さらに、ファインスケールモデリングのために非剛体変形領域を適応的に識別するための新しいマスキング戦略を設計します。
広範な実験により、幾何学的詳細、長距離、非剛体変形の処理におけるこの方法の有効性が示され、以前のアプローチと比較して優れた編集の柔軟性と品質が実証されました。

要約(オリジナル)

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google