UVMap-ID: A Controllable and Personalized UV Map Generative Model

要約

最近、拡散モデルは、提供されたテキスト プロンプトに基づいてリアルな 2D 人間の画像を合成する点で大幅な進歩を遂げました。
これに基づいて、研究者らは 2D テキストから画像への拡散モデルを 3D 領域に拡張し、人間のテクスチャ (UV マップ) を生成しました。
ただし、UV マップ生成モデルに関するいくつかの重要な問題はまだ解決されていません。つまり、特定の顔画像に対してパーソナライズされたテクスチャ マップを生成する方法と、生成されたテクスチャ マップの品質を定義および評価する方法です。
上記の問題を解決するために、制御可能でパーソナライズされた UV マップ生成モデルである新しいメソッド UVMap-ID を導入します。
2D での従来の大規模トレーニング方法とは異なり、ID 駆動のカスタマイズされた生成を実現するために、顔融合モジュールと統合された事前トレーニング済みのテキストから画像への拡散モデルを微調整することを提案します。
微調整戦略をサポートするために、ラベル付きテキストと Face ID を備えた高品質のテクスチャを含む、小規模な属性バランスのトレーニング データセットを導入します。
さらに、テクスチャの複数の側面を評価するためのいくつかのメトリクスを導入します。
最後に、定量的分析と定性的分析の両方により、制御可能でパーソナライズされた UV マップ生成における私たちの方法の有効性が実証されています。
コードは https://github.com/twowwj/UVMap-ID 経由で公開されています。

要約(オリジナル)

Recently, diffusion models have made significant strides in synthesizing realistic 2D human images based on provided text prompts. Building upon this, researchers have extended 2D text-to-image diffusion models into the 3D domain for generating human textures (UV Maps). However, some important problems about UV Map Generative models are still not solved, i.e., how to generate personalized texture maps for any given face image, and how to define and evaluate the quality of these generated texture maps. To solve the above problems, we introduce a novel method, UVMap-ID, which is a controllable and personalized UV Map generative model. Unlike traditional large-scale training methods in 2D, we propose to fine-tune a pre-trained text-to-image diffusion model which is integrated with a face fusion module for achieving ID-driven customized generation. To support the finetuning strategy, we introduce a small-scale attribute-balanced training dataset, including high-quality textures with labeled text and Face ID. Additionally, we introduce some metrics to evaluate the multiple aspects of the textures. Finally, both quantitative and qualitative analyses demonstrate the effectiveness of our method in controllable and personalized UV Map generation. Code is publicly available via https://github.com/twowwj/UVMap-ID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google