TEXTure: Text-Guided Texturing of 3D Shapes

要約

本論文では、3次元形状に対するテクスチャの生成・編集・転送をテキストガイドで行う新しい手法であるTEXTureを紹介する。TEXTureは、事前に学習させた深度画像拡散モデルを用いて、3次元モデルを異なる視点から繰り返し描画する方式を採用している。しかし、深度拡散モデルは単一視点からのテクスチャ生成は可能であるが、確率的な生成のため、3次元物体全体のテクスチャ生成には多くの矛盾が生じる。そこで本研究では、レンダリング画像を3つの進行状態に分割するトリマップを動的に定義し、このトリマップ表現を用いて異なる視点からのシームレスなテクスチャを生成する新しい精巧な拡散サンプリング処理を提案する。次に、生成されたテクスチャマップを、明示的な表面間マッピングを必要とせずに新しい3D形状に転送できること、また、明示的な再構成を必要とせずに一連の画像から意味的なテクスチャを抽出することができることを示す。最後に、TEXTUREは、新しいテクスチャを生成するだけでなく、テキストプロンプトまたはユーザが提供する走り書きのいずれかを使用して、既存のテクスチャを編集して改良するために使用できることを示す。我々は、広範な評価を通じて、我々のTEXTuring手法がテクスチャの生成、転送、編集に優れていることを示し、2D画像生成と3Dテクスチャリングの間のギャップをさらに縮めることができると考えている。

要約(オリジナル)

In this paper, we present TEXTure, a novel method for text-guided generation, editing, and transfer of textures for 3D shapes. Leveraging a pretrained depth-to-image diffusion model, TEXTure applies an iterative scheme that paints a 3D model from different viewpoints. Yet, while depth-to-image models can create plausible textures from a single viewpoint, the stochastic nature of the generation process can cause many inconsistencies when texturing an entire 3D object. To tackle these problems, we dynamically define a trimap partitioning of the rendered image into three progression states, and present a novel elaborated diffusion sampling process that uses this trimap representation to generate seamless textures from different views. We then show that one can transfer the generated texture maps to new 3D geometries without requiring explicit surface-to-surface mapping, as well as extract semantic textures from a set of images without requiring any explicit reconstruction. Finally, we show that TEXTure can be used to not only generate new textures but also edit and refine existing textures using either a text prompt or user-provided scribbles. We demonstrate that our TEXTuring method excels at generating, transferring, and editing textures through extensive evaluation, and further close the gap between 2D image generation and 3D texturing.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL