FreeUV: Ground-Truth-Free Realistic Facial UV Texture Recovery via Cross-Assembly Inference Strategy

要約

シングルビュー2D画像から高品質の3Dフェイシャルテクスチャの回復は、特に限られたデータの制約とメイク、しわ、閉塞などの複雑なフェイシャルの詳細の下で、挑戦的なタスクです。
このホワイトペーパーでは、注釈付きまたは合成UVデータの必要性を排除する、新しいグラウンドフリーフリーUVテクスチャリカバリフレームワークであるFreeUVを紹介します。
Freeuvは、この目的を達成するために、相互補助推論戦略とともに、事前に訓練された安定した拡散モデルを活用します。
Freeuvでは、現実的な外観と構造的一貫性に焦点を当てるために、個別のネットワークが独立して訓練され、これらのネットワークは推論中に結合され、コヒーレントテクスチャを生成します。
私たちのアプローチは、複雑な顔の特徴を正確にキャプチャし、多様なポーズや閉塞にわたって堅牢なパフォーマンスを示しています。
広範な実験は、フリーフの有効性を検証し、結果は定量的および定性的指標の両方で最先端の方法を上回ります。
さらに、FreeUVは、ローカル編集、フェイシャル機能の補間、マルチビューテクスチャリカバリなどの新しいアプリケーションを有効にします。
データ要件を削減することにより、Freeuvは、実際のシナリオに適した高忠実度の3Dフェイシャルテクスチャを生成するためのスケーラブルなソリューションを提供します。

要約(オリジナル)

Recovering high-quality 3D facial textures from single-view 2D images is a challenging task, especially under constraints of limited data and complex facial details such as makeup, wrinkles, and occlusions. In this paper, we introduce FreeUV, a novel ground-truth-free UV texture recovery framework that eliminates the need for annotated or synthetic UV data. FreeUV leverages pre-trained stable diffusion model alongside a Cross-Assembly inference strategy to fulfill this objective. In FreeUV, separate networks are trained independently to focus on realistic appearance and structural consistency, and these networks are combined during inference to generate coherent textures. Our approach accurately captures intricate facial features and demonstrates robust performance across diverse poses and occlusions. Extensive experiments validate FreeUV’s effectiveness, with results surpassing state-of-the-art methods in both quantitative and qualitative metrics. Additionally, FreeUV enables new applications, including local editing, facial feature interpolation, and multi-view texture recovery. By reducing data requirements, FreeUV offers a scalable solution for generating high-fidelity 3D facial textures suitable for real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google