StableMaterials: Enhancing Diversity in Material Generation via Semi-Supervised Learning

要約

Stablematerialsを紹介します。これは、半監視学習を潜在的な拡散モデル（LDMS）と統合するフォトリアリスティックな物理ベースのレンダリング（PBR）材料を生成するための新しいアプローチです。
私たちの方法では、敵対的なトレーニングを採用して、既存の大規模な画像生成モデルから知識を蒸留し、注釈付きデータへの依存を最小限に抑え、生成の多様性を高めます。
この蒸留アプローチは、生成された材料の分布をSDXLモデルからの画像テクスチャの分布と整列させ、初期トレーニングデータセットに存在しない新しい材料の生成を可能にします。
さらに、サンプルの視覚品質を改善し、高解像度の生成を達成するために、拡散ベースのリファイナーモデルを採用しています。
最後に、わずか4ステップで高速生成の潜在的な一貫性モデルを蒸留し、通常拡散ステップの少ない視覚アーティファクトを除去する新しいティレアビリティ技術を提案します。
安定材料のアーキテクチャとトレーニングプロセス、既存のLDMフレームワーク内での半監視トレーニングの統合について詳しく説明し、アプローチの利点を示します。
最先端の方法との比較評価は、安定材料の有効性を示しており、コンピューターグラフィックスおよびそれ以降での潜在的なアプリケーションを強調しています。
Stablematerialsは、https：//gvecchio.com/stablematerialsで公開されています。

要約(オリジナル)

We introduce StableMaterials, a novel approach for generating photorealistic physical-based rendering (PBR) materials that integrate semi-supervised learning with Latent Diffusion Models (LDMs). Our method employs adversarial training to distill knowledge from existing large-scale image generation models, minimizing the reliance on annotated data and enhancing the diversity in generation. This distillation approach aligns the distribution of the generated materials with that of image textures from an SDXL model, enabling the generation of novel materials that are not present in the initial training dataset. Furthermore, we employ a diffusion-based refiner model to improve the visual quality of the samples and achieve high-resolution generation. Finally, we distill a latent consistency model for fast generation in just four steps and propose a new tileability technique that removes visual artifacts typically associated with fewer diffusion steps. We detail the architecture and training process of StableMaterials, the integration of semi-supervised training within existing LDM frameworks and show the advantages of our approach. Comparative evaluations with state-of-the-art methods show the effectiveness of StableMaterials, highlighting its potential applications in computer graphics and beyond. StableMaterials is publicly available at https://gvecchio.com/stablematerials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google