VRMM: A Volumetric Relightable Morphable Head Model

要約

この論文では、3D 顔モデリング用の新しいボリュームおよびパラメトリックな顔の事前モデルである、ボリューム リライト可能モーファブル モデル (VRMM) を紹介します。
最近の容積測定モデルは、3D モーファブル モデル (3DMM) などの従来の方法よりも改善されていますが、モデル学習とパーソナライズされた再構成において課題に直面しています。
当社の VRMM は、アイデンティティ、表現、照明の潜在空間を効率的に解きほぐし、低次元表現にエンコードする新しいトレーニング フレームワークを採用することでこれらを克服します。
自己教師あり学習を使用して設計されたこのフレームワークは、トレーニング データの制約を大幅に軽減し、実際の実行可能性を高めます。
学習した VRMM はリライティング機能を提供し、幅広い表現を網羅します。
アバターの生成、顔の再構築、アニメーションなどのさまざまなアプリケーションを通じて、VRMM の多用途性と有効性を実証します。
さらに、VRMM に基づく新しい事前保存パーソナライゼーション フレームワークを使用して、生成体積モデルのオーバーフィッティングという一般的な問題に対処します。
このようなアプローチにより、単一のポートレート入力からでも高品質の 3D 顔再構成が可能になります。
私たちの実験は、3D 顔モデリングの分野を大幅に強化する VRMM の可能性を示しています。

要約(オリジナル)

In this paper, we introduce the Volumetric Relightable Morphable Model (VRMM), a novel volumetric and parametric facial prior for 3D face modeling. While recent volumetric prior models offer improvements over traditional methods like 3D Morphable Models (3DMMs), they face challenges in model learning and personalized reconstructions. Our VRMM overcomes these by employing a novel training framework that efficiently disentangles and encodes latent spaces of identity, expression, and lighting into low-dimensional representations. This framework, designed with self-supervised learning, significantly reduces the constraints for training data, making it more feasible in practice. The learned VRMM offers relighting capabilities and encompasses a comprehensive range of expressions. We demonstrate the versatility and effectiveness of VRMM through various applications like avatar generation, facial reconstruction, and animation. Additionally, we address the common issue of overfitting in generative volumetric models with a novel prior-preserving personalization framework based on VRMM. Such an approach enables high-quality 3D face reconstruction from even a single portrait input. Our experiments showcase the potential of VRMM to significantly enhance the field of 3D face modeling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google