MvDrag3D: Drag-based Creative 3D Editing via Multi-view Generation-Reconstruction Priors

要約

ドラッグベースの編集は、画像生成モデルの機能によって 2D コンテンツ作成において一般的になりました。
ただし、この技術を 3D に拡張することは依然として課題です。
既存の 3D ドラッグ ベースの編集方法は、明示的な空間変換を使用するか、容量が限られた 3D 生成モデル内の暗黙的な潜在的な最適化に依存するかにかかわらず、重大なトポロジーの変更を処理したり、さまざまなオブジェクト カテゴリにわたって新しいテクスチャを生成したりするには不十分です。
これらの制限を克服するために、マルチビューの生成と事前再構築を活用する、より柔軟で創造的なドラッグベースの 3D 編集のための新しいフレームワークである MVDrag3D を紹介します。
私たちのアプローチの核心は、複数のレンダリングされたビュー上で一貫したドラッグ編集を実行する前に、強力な生成としてマルチビュー拡散モデルを使用し、その後、編集されたオブジェクトの 3D ガウスを再構成する再構成モデ​​ルを使用することです。
初期の 3D ガウスは異なるビュー間の位置ずれに悩まされる可能性がありますが、ガウスの位置が適切に位置合わせされるように調整するビュー固有の変形ネットワークによってこれに対処します。
さらに、ビューの一貫性と視覚的品質をさらに向上させるために、複数のビューから生成事前分布を抽出するマルチビュー スコア関数を提案します。
広範な実験により、MVDrag3D が 3D ドラッグ ベースの編集のための正確で生成的かつ柔軟なソリューションを提供し、さまざまなオブジェクト カテゴリと 3D 表現にわたってより多用途な編集効果をサポートすることが実証されました。

要約(オリジナル)

Drag-based editing has become popular in 2D content creation, driven by the capabilities of image generative models. However, extending this technique to 3D remains a challenge. Existing 3D drag-based editing methods, whether employing explicit spatial transformations or relying on implicit latent optimization within limited-capacity 3D generative models, fall short in handling significant topology changes or generating new textures across diverse object categories. To overcome these limitations, we introduce MVDrag3D, a novel framework for more flexible and creative drag-based 3D editing that leverages multi-view generation and reconstruction priors. At the core of our approach is the usage of a multi-view diffusion model as a strong generative prior to perform consistent drag editing over multiple rendered views, which is followed by a reconstruction model that reconstructs 3D Gaussians of the edited object. While the initial 3D Gaussians may suffer from misalignment between different views, we address this via view-specific deformation networks that adjust the position of Gaussians to be well aligned. In addition, we propose a multi-view score function that distills generative priors from multiple views to further enhance the view consistency and visual quality. Extensive experiments demonstrate that MVDrag3D provides a precise, generative, and flexible solution for 3D drag-based editing, supporting more versatile editing effects across various object categories and 3D representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google