TexGen: Text-Guided 3D Texture Generation with Multi-view Sampling and Resampling

要約

3Dメッシュが与えられたとき、任意のテキスト記述に対応する3Dテクスチャを合成することを目指す。サンプリングされたビューからテクスチャを生成して組み立てる現在の手法では、継ぎ目が目立ったり、過剰なスムージングが生じたりすることが多い。このような問題に対処するために、事前に学習されたテキストから画像への拡散モデルを活用した、テクスチャ生成のための新しいマルチビューサンプリングとリサンプリングのフレームワークであるTexGenを紹介する。ビューの一貫性を保つサンプリングのために、まずRGB空間のテクスチャマップを保持し、ノイズ除去ステップでパラメータ化され、拡散モデルの各サンプリングステップの後に更新され、ビューの不一致を漸進的に減少させる。アテンションガイデッドマルチビューサンプリング戦略は、ビューにまたがって外観情報をブロードキャストするために利用される。テクスチャの詳細を保持するために、我々はノイズの推定を支援するノイズ再サンプリング技術を開発し、テキストプロンプトと現在のテクスチャマップによって指示される、後続のノイズ除去ステップの入力を生成する。広範な質的・量的評価を通じて、我々は、提案手法が、高度なビュー一貫性と豊かな外観詳細を持つ多様な3Dオブジェクトに対して、現在の最先端手法を凌駕する、著しく優れたテクスチャ品質を生成することを実証する。さらに、我々の提案するテクスチャ生成技術は、元のアイデンティティを保持しながら、テクスチャ編集にも適用することができます。より詳細な実験結果は、https://dong-huo.github.io/TexGen/。

要約(オリジナル)

Given a 3D mesh, we aim to synthesize 3D textures that correspond to arbitrary textual descriptions. Current methods for generating and assembling textures from sampled views often result in prominent seams or excessive smoothing. To tackle these issues, we present TexGen, a novel multi-view sampling and resampling framework for texture generation leveraging a pre-trained text-to-image diffusion model. For view consistent sampling, first of all we maintain a texture map in RGB space that is parameterized by the denoising step and updated after each sampling step of the diffusion model to progressively reduce the view discrepancy. An attention-guided multi-view sampling strategy is exploited to broadcast the appearance information across views. To preserve texture details, we develop a noise resampling technique that aids in the estimation of noise, generating inputs for subsequent denoising steps, as directed by the text prompt and current texture map. Through an extensive amount of qualitative and quantitative evaluations, we demonstrate that our proposed method produces significantly better texture quality for diverse 3D objects with a high degree of view consistency and rich appearance details, outperforming current state-of-the-art methods. Furthermore, our proposed texture generation technique can also be applied to texture editing while preserving the original identity. More experimental results are available at https://dong-huo.github.io/TexGen/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL