Vox-E: Text-guided Voxel Editing of 3D Objects

要約

大規模なテキストガイド拡散モデルは、複雑な視覚的概念を伝える多様な画像を合成できるため、大きな注目を集めています。
この生成力は、最近ではテキストから 3D への合成を実行するために活用されています。
この作業では、潜在的な拡散モデルの力を利用して既存の 3D オブジェクトを編集する手法を紹介します。
私たちの方法は、3D オブジェクトの方向付けられた 2D 画像を入力として受け取り、そのグリッドベースのボリューム表現を学習します。
ボリューム表現をターゲット テキスト プロンプトに適合させるために、無条件のテキストから 3D への変換方法に従い、スコア蒸留サンプリング (SDS) 損失を最適化します。
ただし、この拡散誘導損失と、表現が入力オブジェクトから大きく逸脱しないようにする画像ベースの正則化損失とを組み合わせることは、構造と外観の結合のみを表示しながら2つの相反する目標を達成する必要があるため、困難であることがわかります。
2D 投影。
したがって、3D 空間で直接動作する新しい体積正則化損失を導入し、3D 表現の明示的な性質を利用して、元のオブジェクトと編集されたオブジェクトのグローバル構造間の相関を強制します。
さらに、クロスアテンション ボリューム グリッドを最適化して、編集の空間範囲を調整する手法を紹介します。
広範な実験と比較により、以前の作品では達成できない無数の編集を作成する際の私たちのアプローチの有効性が実証されています。

要約(オリジナル)

Large scale text-guided diffusion models have garnered significant attention due to their ability to synthesize diverse images that convey complex visual concepts. This generative power has more recently been leveraged to perform text-to-3D synthesis. In this work, we present a technique that harnesses the power of latent diffusion models for editing existing 3D objects. Our method takes oriented 2D images of a 3D object as input and learns a grid-based volumetric representation of it. To guide the volumetric representation to conform to a target text prompt, we follow unconditional text-to-3D methods and optimize a Score Distillation Sampling (SDS) loss. However, we observe that combining this diffusion-guided loss with an image-based regularization loss that encourages the representation not to deviate too strongly from the input object is challenging, as it requires achieving two conflicting goals while viewing only structure-and-appearance coupled 2D projections. Thus, we introduce a novel volumetric regularization loss that operates directly in 3D space, utilizing the explicit nature of our 3D representation to enforce correlation between the global structure of the original and edited object. Furthermore, we present a technique that optimizes cross-attention volumetric grids to refine the spatial extent of the edits. Extensive experiments and comparisons demonstrate the effectiveness of our approach in creating a myriad of edits which cannot be achieved by prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google