Bringing Diversity from Diffusion Models to Semantic-Guided Face Asset Generation

要約

デジタルモデリングと人間の顔の再構築は、さまざまなアプリケーションに役立ちます。
ただし、その可用性は、データをキャプチャするデバイス、肉体労働、および適切なアクターの要件によってしばしば妨げられています。
この状況は、結果のモデルに対する多様性、表現力、および制御を制限します。
この作業の目的は、意味的に制御可能な生成ネットワークがデジタルフェイスモデリングプロセスを強化できる制御を提供できることを実証することを目的としています。
制御された設定でスキャンされた限られた人間の顔を超えた多様性を高めるために、事前に訓練された拡散モデルを使用して高品質の3Dフェイスデータベースを作成する新しいデータ生成パイプラインを導入します。
提案された正規化モジュールは、拡散モデルから合成データを高品質のスキャンデータに変換します。
取得した44,000のフェイスモデルを使用して、さらに効率的なGANベースのジェネレーターを開発しました。
このジェネレーターは、セマンティック属性を入力として受け入れ、ジオメトリとアルベドを生成します。
また、潜在空間での属性の継続的な編集後も可能になります。
当社の資産洗練コンポーネントは、その後、物理的にベースの顔の資産を作成します。
高品質のフェイスアセットを作成および編集するために設計された包括的なシステムを紹介します。
提案されたモデルは、広範な実験、比較、評価を受けています。
また、すべてをWebベースのインタラクティブツールに統合します。
このツールを、論文のリリースで公開することを目指しています。

要約(オリジナル)

Digital modeling and reconstruction of human faces serve various applications. However, its availability is often hindered by the requirements of data capturing devices, manual labor, and suitable actors. This situation restricts the diversity, expressiveness, and control over the resulting models. This work aims to demonstrate that a semantically controllable generative network can provide enhanced control over the digital face modeling process. To enhance diversity beyond the limited human faces scanned in a controlled setting, we introduce a novel data generation pipeline that creates a high-quality 3D face database using a pre-trained diffusion model. Our proposed normalization module converts synthesized data from the diffusion model into high-quality scanned data. Using the 44,000 face models we obtained, we further developed an efficient GAN-based generator. This generator accepts semantic attributes as input, and generates geometry and albedo. It also allows continuous post-editing of attributes in the latent space. Our asset refinement component subsequently creates physically-based facial assets. We introduce a comprehensive system designed for creating and editing high-quality face assets. Our proposed model has undergone extensive experiment, comparison and evaluation. We also integrate everything into a web-based interactive tool. We aim to make this tool publicly available with the release of the paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google