AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

要約

人間生成用のこれまでのアニメーション可能な 3D 対応 GAN は、主に人間の頭か全身のどちらかに焦点を当てていました。
ただし、現実世界では頭だけのビデオは比較的まれであり、全身の生成では通常、顔の表情の制御に対応しておらず、高品質の結果を生成するには依然として課題があります。
適用可能なビデオ アバターに向けて、制御可能な顔の表情、頭のポーズ、肩の動きを備えたポートレート画像を生成するアニメーション可能な 3D 対応 GAN を紹介します。
これは、3D データやビデオ データを使用せずに、非構造化 2D 画像コレクションでトレーニングされた生成モデルです。
新しいタスクでは、生成的な放射多様体表現に基づいたメソッドを使用し、学習可能な顔と頭肩の変形を備えています。
ポートレート画像にとって重要な、生成される顔の品質を向上させるために、デュアル カメラ レンダリングと敵対的学習スキームが提案されています。
ポーズ変形処理ネットワークは、長い髪などの難しい領域に対して妥当な変形を生成するために開発されています。
実験では、非構造化 2D 画像でトレーニングされた私たちの方法が、さまざまなプロパティを適切に制御して、多様で高品質の 3D ポートレートを生成できることを示しています。

要約(オリジナル)

Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google