ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations

要約

3D 顔の正確な表現は、さまざまなコンピュータ ビジョンおよびグラフィックス アプリケーションにおいて最も重要です。
ただし、データの離散化とモデルの線形性によって課せられる制限により、現在の研究で同一性と発現の手がかりを正確に捕捉することが妨げられるため、課題は依然として存在します。
この論文では、暗黙的な神経表現を使用して洗練された連続空間を学習するための、ImFace++ という名前の新しい 3D モーファブル顔モデルを紹介します。
ImFace++ は、まず 2 つの明示的に解きほぐされた変形フィールドを構築して、それぞれアイデンティティと表情に関連付けられた複雑な形状をモデル化します。これにより、同時に、多様な顔の形状にわたる対応関係の自動学習が容易になります。
より洗練された顔の詳細をキャプチャするために、テンプレート空間内の改良変位フィールドがさらに組み込まれ、個人固有の顔の詳細をきめ細かく学習できるようになります。
さらに、ニューラル ブレンド フィールドは、ローカル フィールドの配列の適応ブレンドを通じて表現機能を強化するように設計されています。
ImFace++ に加えて、式の埋め込みを拡張するための改善された学習戦略を考案し、より広範囲の式のバリエーションを可能にしました。
包括的な定性的および定量的評価により、ImFace++ は顔再構成の忠実度と対応精度の両方の点で最先端技術を大幅に進歩させていることが実証されています。

要約(オリジナル)

Accurate representations of 3D faces are of paramount importance in various computer vision and graphics applications. However, the challenges persist due to the limitations imposed by data discretization and model linearity, which hinder the precise capture of identity and expression clues in current studies. This paper presents a novel 3D morphable face model, named ImFace++, to learn a sophisticated and continuous space with implicit neural representations. ImFace++ first constructs two explicitly disentangled deformation fields to model complex shapes associated with identities and expressions, respectively, which simultaneously facilitate the automatic learning of correspondences across diverse facial shapes. To capture more sophisticated facial details, a refinement displacement field within the template space is further incorporated, enabling a fine-grained learning of individual-specific facial details. Furthermore, a Neural Blend-Field is designed to reinforce the representation capabilities through adaptive blending of an array of local fields. In addition to ImFace++, we have devised an improved learning strategy to extend expression embeddings, allowing for a broader range of expression variations. Comprehensive qualitative and quantitative evaluations demonstrate that ImFace++ significantly advances the state-of-the-art in terms of both face reconstruction fidelity and correspondence accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google