Single Image, Any Face: Generalisable 3D Face Generation

要約

単一の制約のない画像から 3D 人間の顔のアバターを作成することは、数多くの実世界のビジョンおよびグラフィックス アプリケーションの基礎となる基本的なタスクです。
生成モデルの大幅な進歩にも関わらず、既存の方法は人間の顔の設計にはあまり適していない、または制限されたトレーニング領域から制約のない顔画像への一般化に失敗しています。
これらの制限に対処するために、我々は新しいモデル Gen3D-Face を提案します。これは、マルチビューの一貫した拡散フレームワーク内で制約のない単一画像入力を使用して 3D 人間の顔を生成します。
特定の入力画像が与えられると、モデルはまず多視点画像を生成し、続いて神経表面の構築を行います。
一般化可能な方法で顔のジオメトリ情報を組み込むために、グラウンドトゥルース メッシュの代わりに入力条件付きメッシュ推定を合成マルチビュー トレーニング データとともに利用します。
重要なのは、異なるビュー間の外観の一貫性を高めるために、マルチビューの共同生成スキームを導入していることです。
私たちの知る限り、これは、複数のドメインにわたる一般的な人間の被写体の単一画像からフォトリアリスティックな 3D 人間の顔アバターを作成する最初の試みであり、ベンチマークです。
広範な実験により、ドメイン外の単一画像 3D 顔生成とドメイン内設定の上位競合に対する以前の代替案よりも、私たちの方法の優位性が実証されました。

要約(オリジナル)

The creation of 3D human face avatars from a single unconstrained image is a fundamental task that underlies numerous real-world vision and graphics applications. Despite the significant progress made in generative models, existing methods are either less suited in design for human faces or fail to generalise from the restrictive training domain to unconstrained facial images. To address these limitations, we propose a novel model, Gen3D-Face, which generates 3D human faces with unconstrained single image input within a multi-view consistent diffusion framework. Given a specific input image, our model first produces multi-view images, followed by neural surface construction. To incorporate face geometry information in a generalisable manner, we utilise input-conditioned mesh estimation instead of ground-truth mesh along with synthetic multi-view training data. Importantly, we introduce a multi-view joint generation scheme to enhance appearance consistency among different views. To the best of our knowledge, this is the first attempt and benchmark for creating photorealistic 3D human face avatars from single images for generic human subject across domains. Extensive experiments demonstrate the superiority of our method over previous alternatives for out-of-domain singe image 3D face generation and top competition for in-domain setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google