FlexiTex: Enhancing Texture Generation with Visual Guidance

要約

最近のテクスチャ生成方法は、大規模なテキストから画像への拡散モデルを活用した強力な生成事前処理により、印象的な結果を達成しています。
ただし、抽象的なテキスト プロンプトでは、グローバルなテクスチャ情報または形状情報の提供が制限されているため、テクスチャ生成方法ではぼやけたパターンや一貫性のないパターンが生成されます。
これに取り組むために、視覚的なガイダンスを介して豊富な情報を埋め込み、高品質のテクスチャを生成する FlexiTex を紹介します。
FlexiTex の中核は、視覚ガイダンス強化モジュールです。これは、視覚ガイダンスからのより具体的な情報を組み込んで、テキスト プロンプトのあいまいさを減らし、高頻度の詳細を保持します。
視覚的なガイダンスをさらに強化するために、さまざまなカメラのポーズに基づいて方向プロンプトを自動的に設計する方向認識適応モジュールを導入し、ヤヌス問題を回避し、意味的にグローバルな一貫性を維持します。
視覚的なガイダンスの恩恵を受けて、FlexiTex は定量的および定性的に健全な結果を生成し、現実世界のアプリケーション向けのテクスチャ生成を前進させる可能性を実証します。

要約(オリジナル)

Recent texture generation methods achieve impressive results due to the powerful generative prior they leverage from large-scale text-to-image diffusion models. However, abstract textual prompts are limited in providing global textural or shape information, which results in the texture generation methods producing blurry or inconsistent patterns. To tackle this, we present FlexiTex, embedding rich information via visual guidance to generate a high-quality texture. The core of FlexiTex is the Visual Guidance Enhancement module, which incorporates more specific information from visual guidance to reduce ambiguity in the text prompt and preserve high-frequency details. To further enhance the visual guidance, we introduce a Direction-Aware Adaptation module that automatically designs direction prompts based on different camera poses, avoiding the Janus problem and maintaining semantically global consistency. Benefiting from the visual guidance, FlexiTex produces quantitatively and qualitatively sound results, demonstrating its potential to advance texture generation for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google