LeGO: Leveraging a Surface Deformation Network for Animatable Stylized Face Generation with One Example

要約

3D 顔の様式化における最近の進歩により、ショット数が少ない設定からゼロショットの設定までが大幅に進歩しました。
ただし、既存の方法で達成される様式化の程度は、多くの場合、バリエーションが限られた統計的な 3D モーファブル モデル (3DMM) に基づいているため、実際のアプリケーションには十分ではありません。
この目的を達成するために、我々は、所望のトポロジーを有する高度に様式化された 3D 顔モデルを生成できる方法を提案します。
私たちの方法では、3DMM でサーフェス変形ネットワークをトレーニングし、ペアのエグザンプラを使用してそのドメインをターゲット スタイルに変換します。
ネットワークは、微分可能なレンダラと指向性 CLIP 損失を使用してターゲットのスタイルを模倣することにより、3D 顔メッシュの様式化を実現します。
さらに、推論プロセス中に、変形ターゲットであるさまざまなトポロジのメッシュをスタイル化プロセスへの入力として受け取り、その形状を潜在空間にエンコードするメッシュ アグノスティック エンコーダー (MAGE) を利用します。
結果として得られる様式化された顔モデルは、一般的に使用される 3DMM ブレンド シェイプによってアニメーション化できます。
一連の定量的および定性的評価は、私たちの方法が特定のスタイルに従って高度に様式化された顔メッシュを生成し、それらを所望のトポロジーで出力できることを示しています。
また、画像ベースの様式化されたアバターの生成、幾何学的なスタイルの線形補間、様式化されたアバターの顔のアニメーションなど、私たちの方法の応用例も示します。

要約(オリジナル)

Recent advances in 3D face stylization have made significant strides in few to zero-shot settings. However, the degree of stylization achieved by existing methods is often not sufficient for practical applications because they are mostly based on statistical 3D Morphable Models (3DMM) with limited variations. To this end, we propose a method that can produce a highly stylized 3D face model with desired topology. Our methods train a surface deformation network with 3DMM and translate its domain to the target style using a paired exemplar. The network achieves stylization of the 3D face mesh by mimicking the style of the target using a differentiable renderer and directional CLIP losses. Additionally, during the inference process, we utilize a Mesh Agnostic Encoder (MAGE) that takes deformation target, a mesh of diverse topologies as input to the stylization process and encodes its shape into our latent space. The resulting stylized face model can be animated by commonly used 3DMM blend shapes. A set of quantitative and qualitative evaluations demonstrate that our method can produce highly stylized face meshes according to a given style and output them in a desired topology. We also demonstrate example applications of our method including image-based stylized avatar generation, linear interpolation of geometric styles, and facial animation of stylized avatars.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google