Vox-E: Text-guided Voxel Editing of 3D Objects

要約

大規模なテキストガイド拡散モデルは、複雑な視覚概念を伝える多様な画像を合成できるため、大きな注目を集めています。
この生成力は、最近ではテキストから 3D への合成を実行するために活用されています。
この研究では、既存の 3D オブジェクトを編集するために潜在拡散モデルの力を利用するテクニックを紹介します。
私たちの方法は、3D オブジェクトの方向を定められた 2D 画像を入力として受け取り、そのグリッドベースの体積表現を学習します。
体積表現がターゲット テキスト プロンプトに準拠するように導くために、無条件のテキストから 3D への変換方法に従い、スコア蒸留サンプリング (SDS) 損失を最適化します。
ただし、この拡散誘導損失と、表現が入力オブジェクトから大きく逸脱しないように促す画像ベースの正則化損失を組み合わせるのは、構造と外観を結合したもののみを表示しながら 2 つの相反する目標を達成する必要があるため、困難であることがわかりました。
2D投影。
したがって、3D 表現の明示的な性質を利用して、元のオブジェクトと編集されたオブジェクトのグローバル構造間の相関関係を強化する、3D 空間で直接動作する新しい体積正則化損失を導入します。
さらに、編集の空間範囲を調整するためにクロスアテンションのボリュームグリッドを最適化する手法を紹介します。
広範な実験と比較により、以前の作品では達成できなかった無数の編集を作成する際の私たちのアプローチの有効性が実証されました。

要約(オリジナル)

Large scale text-guided diffusion models have garnered significant attention due to their ability to synthesize diverse images that convey complex visual concepts. This generative power has more recently been leveraged to perform text-to-3D synthesis. In this work, we present a technique that harnesses the power of latent diffusion models for editing existing 3D objects. Our method takes oriented 2D images of a 3D object as input and learns a grid-based volumetric representation of it. To guide the volumetric representation to conform to a target text prompt, we follow unconditional text-to-3D methods and optimize a Score Distillation Sampling (SDS) loss. However, we observe that combining this diffusion-guided loss with an image-based regularization loss that encourages the representation not to deviate too strongly from the input object is challenging, as it requires achieving two conflicting goals while viewing only structure-and-appearance coupled 2D projections. Thus, we introduce a novel volumetric regularization loss that operates directly in 3D space, utilizing the explicit nature of our 3D representation to enforce correlation between the global structure of the original and edited object. Furthermore, we present a technique that optimizes cross-attention volumetric grids to refine the spatial extent of the edits. Extensive experiments and comparisons demonstrate the effectiveness of our approach in creating a myriad of edits which cannot be achieved by prior works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google