Sketch-guided Cage-based 3D Gaussian Splatting Deformation

要約

3D ガウス スプラッティング (GS) は、コンピュータ グラフィックスおよびコンピュータ ビジョンで大きな関心を集めている、最も有望な新しい 3D 表現の 1 つです。
テキスト プロンプトによるガイドなどの 3D GS の編集機能がさまざまなシステムに導入されていますが、変形に対するきめ細かな制御は依然として未解決の課題です。
この研究では、ユーザーが 1 つの視点からシルエット スケッチを描くことで 3D GS モデルのジオメトリを直感的に変更できる、新しいスケッチ ガイド付き 3D GS 変形システムを紹介します。
私たちのアプローチでは、ケージベースの変形とニューラル ヤコビアン フィールドのバリアントを組み合わせた新しい変形方法を導入し、正確で細かい制御を可能にします。
さらに、大規模な 2D 拡散事前分布と ControlNet を利用して、生成された変形が意味的に妥当であることを確認します。
一連の実験を通じて、私たちはこの方法の有効性を実証し、その主要なアプリケーションの 1 つとして静的な 3D GS モデルをアニメーション化するその機能を紹介します。

要約(オリジナル)

3D Gaussian Splatting (GS) is one of the most promising novel 3D representations that has received great interest in computer graphics and computer vision. While various systems have introduced editing capabilities for 3D GS, such as those guided by text prompts, fine-grained control over deformation remains an open challenge. In this work, we present a novel sketch-guided 3D GS deformation system that allows users to intuitively modify the geometry of a 3D GS model by drawing a silhouette sketch from a single viewpoint. Our approach introduces a new deformation method that combines cage-based deformations with a variant of Neural Jacobian Fields, enabling precise, fine-grained control. Additionally, it leverages large-scale 2D diffusion priors and ControlNet to ensure the generated deformations are semantically plausible. Through a series of experiments, we demonstrate the effectiveness of our method and showcase its ability to animate static 3D GS models as one of its key applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google