GenesisTex: Adapting Image Denoising Diffusion to Texture Space

要約

テキスト記述から 3D ジオメトリのテクスチャを合成する新しい方法である GenesisTex を紹介します。
GenesisTex は、テクスチャ空間サンプリングによって、事前トレーニングされた画像拡散モデルをテクスチャ空間に適応させます。
具体的には、各視点の潜在テクスチャ マップを維持し、対応する視点のレンダリングで予測されたノイズで更新されます。
サンプリングされた潜在テクスチャ マップは、最終的なテクスチャ マップにデコードされます。
サンプリング プロセス中、私たちは複数の視点にわたるグローバルとローカルの両方の一貫性に焦点を当てます。グローバルな一貫性は、ノイズ予測ネットワーク内でのスタイル一貫性メカニズムの統合によって実現され、低レベルの一貫性は潜在テクスチャを動的に調整することによって実現されます。
最後に、テクスチャを洗練するために、参照ベースの修復と img2img をより密なビューに適用します。
私たちのアプローチは、蒸留ベースの手法における最適化の遅さ、および修復ベースの手法の不安定性という限界を克服します。
さまざまなソースからのメッシュに関する実験により、私たちの方法が量的および質的にベースライン方法を上回ることが実証されました。

要約(オリジナル)

We present GenesisTex, a novel method for synthesizing textures for 3D geometries from text descriptions. GenesisTex adapts the pretrained image diffusion model to texture space by texture space sampling. Specifically, we maintain a latent texture map for each viewpoint, which is updated with predicted noise on the rendering of the corresponding viewpoint. The sampled latent texture maps are then decoded into a final texture map. During the sampling process, we focus on both global and local consistency across multiple viewpoints: global consistency is achieved through the integration of style consistency mechanisms within the noise prediction network, and low-level consistency is achieved by dynamically aligning latent textures. Finally, we apply reference-based inpainting and img2img on denser views for texture refinement. Our approach overcomes the limitations of slow optimization in distillation-based methods and instability in inpainting-based methods. Experiments on meshes from various sources demonstrate that our method surpasses the baseline methods quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google