Generative Neural Articulated Radiance Fields

要約

近年、単眼2D写真のコレクションを用いた3D認識可能な教師なし生成敵対ネットワーク(GAN)の学習が進展している。しかし、これらの3次元GANは人体への適用が実証されておらず、また既存のフレームワークでは生成された輝度場を直接編集できないため、下流のタスクへの適用に限界がある。本論文では、これらの課題を解決するために、人体や顔の標準的なポーズの輝度場を生成し、明示的な変形場を用いて所望の体位や表情にワープすることを学習する3次元GANフレームワークを開発することを提案する。本フレームワークを用いて、人体に対する高品質な輝度場生成結果を初めて示した。さらに、変形を考慮した学習手順により、明示的な変形を考慮しない3次元GANと比較して、身体や顔のポーズや表情を編集する際の生成物の品質が大幅に向上することを示す。

要約(オリジナル)

Unsupervised learning of 3D-aware generative adversarial networks (GANs) using only collections of single-view 2D photographs has very recently made much progress. These 3D GANs, however, have not been demonstrated for human bodies and the generated radiance fields of existing frameworks are not directly editable, limiting their applicability in downstream tasks. We propose a solution to these challenges by developing a 3D GAN framework that learns to generate radiance fields of human bodies or faces in a canonical pose and warp them using an explicit deformation field into a desired body pose or facial expression. Using our framework, we demonstrate the first high-quality radiance field generation results for human bodies. Moreover, we show that our deformation-aware training procedure significantly improves the quality of generated bodies or faces when editing their poses or facial expressions compared to a 3D GAN that is not trained with explicit deformations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL