CasTex: Cascaded Text-to-Texture Synthesis via Explicit Texture Maps and Physically-Based Shading

要約

この作業では、拡散モデルを使用してテキストからテキストの合成を調査し、物理ベースのテクスチャマップを生成します。
さまざまな照明条件下で現実的なモデルの外観を達成することを目指しています。
タスクの顕著なソリューションは、スコア蒸留サンプリングです。
微分可能なラスター化とシェーディングパイプラインを考慮して、グラデーションガイダンスを使用して複雑なテクスチャを回復することができます。
ただし、実際には、広範囲にわたる潜在的な拡散モデルと組み合わせた前述のソリューションは、深刻な視覚アーティファクトを生成し、暗黙のテクスチャパラメーター化などの追加の正規化が必要です。
より直接的な代替品として、テクスチャ合成（CASTEX）のカスケード拡散モデルを使用したアプローチを提案します。
セットアップでは、スコア蒸留サンプリングにより、高品質のテクスチャがボックスになります。
特に、手順を改善するための明示的なパラメーター化を支持して、暗黙のテクスチャパラメーター化を省略することができました。
実験では、私たちのアプローチが、パブリックテクスチャ合成ベンチマークの最先端の最適化ベースのソリューションを大幅に上回ることを示しています。

要約(オリジナル)

This work investigates text-to-texture synthesis using diffusion models to generate physically-based texture maps. We aim to achieve realistic model appearances under varying lighting conditions. A prominent solution for the task is score distillation sampling. It allows recovering a complex texture using gradient guidance given a differentiable rasterization and shading pipeline. However, in practice, the aforementioned solution in conjunction with the widespread latent diffusion models produces severe visual artifacts and requires additional regularization such as implicit texture parameterization. As a more direct alternative, we propose an approach using cascaded diffusion models for texture synthesis (CasTex). In our setup, score distillation sampling yields high-quality textures out-of-the box. In particular, we were able to omit implicit texture parameterization in favor of an explicit parameterization to improve the procedure. In the experiments, we show that our approach significantly outperforms state-of-the-art optimization-based solutions on public texture synthesis benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google