Towards Realistic Generative 3D Face Models

要約

タイトル：リアルな生成型3D顔モデルへ向けて

要約：

– 2D生成型の顔モデルは、アニメーション、合成データ生成、デジタルアバターなどの応用により、ここ数年で大きな進歩がありました。
– しかしながら、3D情報がないため、これらの2Dモデルは、ポーズ、表情、照明などの顔属性を正確に分離することができず、編集能力が制限されています。
– この制限に対処するため、この論文では、既存の2D生成型モデルを利用し、高品質のアルベドと正確な3D形状を生成する3D制御型生成型顔モデルを提案しています。
– この方法では、2D顔生成モデルと意味論的顔操作を組み合わせ、詳細な3Dレンダリングされた顔の編集を可能にします。
– 提案されたフレームワークは、形状とアルベドの交互降下最適化アプローチを利用しています。3D監視がなくても、微分可能なレンダリングを使用して高品質の形状とアルベドをトレーニングします。
– この方法は、形状再建の有名な「NoWベンチマーク」でSOTA方法を上回ります。また、新しいポーズでのレンダリングされた顔の同一性を回復するSOTA再構築モデルを平均して10％も上回ります。
– さらに、この論文は、潜在的な空間を利用して3D顔の表情を直接制御することにより、テキストベースの3D顔編集を実証しています。

要約(オリジナル)

In recent years, there has been significant progress in 2D generative face models fueled by applications such as animation, synthetic data generation, and digital avatars. However, due to the absence of 3D information, these 2D models often struggle to accurately disentangle facial attributes like pose, expression, and illumination, limiting their editing capabilities. To address this limitation, this paper proposes a 3D controllable generative face model to produce high-quality albedo and precise 3D shape leveraging existing 2D generative models. By combining 2D face generative models with semantic face manipulation, this method enables editing of detailed 3D rendered faces. The proposed framework utilizes an alternating descent optimization approach over shape and albedo. Differentiable rendering is used to train high-quality shapes and albedo without 3D supervision. Moreover, this approach outperforms the state-of-the-art (SOTA) methods in the well-known NoW benchmark for shape reconstruction. It also outperforms the SOTA reconstruction models in recovering rendered faces’ identities across novel poses by an average of 10%. Additionally, the paper demonstrates direct control of expressions in 3D faces by exploiting latent space leading to text-based editing of 3D faces.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI