Text-Driven Diverse Facial Texture Generation via Progressive Latent-Space Refinement

要約

自動 3D 顔テクスチャ生成は、最近大きな関心を集めています。
既存のアプローチは、従来の物理ベースのレンダリング パイプラインをサポートしていないか、Light Stage によってキャプチャされた 3D データに依存している可能性があります。
私たちの主な貢献は、顔画像から生成された 3D モーファブル モデル (3DMM) ベースのテクスチャ マップからブートストラップして、アルベド、法線、ラフネスなどの高品質で多様な PBR テクスチャを生成できる、進歩的な潜在空間リファインメント アプローチです。
それは、テキストガイドによる多様なテクスチャ生成のために敵対的生成ネットワーク (GAN) を強化することから始まります。
この目的を達成するために、私たちは、グラウンド トゥルース 3D テクスチャへの依存を克服し、もつれたテクスチャ マップのみを使用して生成モデルをトレーニングする自己教師ありパラダイムを設計します。
さらに、GAN とスコア蒸留サンプリング (SDS) 間の相互強化を促進します。
SDS はより多くの生成モードで GAN を強化し、GAN は SDS のより効率的な最適化を促進します。
さらに、マルチビューで一貫した顔構造を実現するためのエッジ認識 SDS を導入します。
実験では、私たちの方法がフォトリアルな品質、多様性、効率の点で既存の 3D テクスチャ生成方法よりも優れていることを示しています。

要約(オリジナル)

Automatic 3D facial texture generation has gained significant interest recently. Existing approaches may not support the traditional physically based rendering pipeline or rely on 3D data captured by Light Stage. Our key contribution is a progressive latent space refinement approach that can bootstrap from 3D Morphable Models (3DMMs)-based texture maps generated from facial images to generate high-quality and diverse PBR textures, including albedo, normal, and roughness. It starts with enhancing Generative Adversarial Networks (GANs) for text-guided and diverse texture generation. To this end, we design a self-supervised paradigm to overcome the reliance on ground truth 3D textures and train the generative model with only entangled texture maps. Besides, we foster mutual enhancement between GANs and Score Distillation Sampling (SDS). SDS boosts GANs with more generative modes, while GANs promote more efficient optimization of SDS. Furthermore, we introduce an edge-aware SDS for multi-view consistent facial structure. Experiments demonstrate that our method outperforms existing 3D texture generation methods regarding photo-realistic quality, diversity, and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google