Versatile Face Animator: Driving Arbitrary 3D Facial Avatar in RGBD Space

要約

リアルな 3D フェイシャル アニメーションの作成は、映画制作やゲーム業界のさまざまなアプリケーションにとって、特にメタバースでの需要が急増していることから重要です。
ただし、ブレンドシェイプ ベースのアプローチやフェイシャル リギング技術などの一般的な方法は、時間がかかり、労力がかかり、標準化された構成が欠如しているため、フェイシャル アニメーションの制作は困難でコストがかかります。
この論文では、顔のモーション キャプチャとモーション リターゲットをエンドツーエンドの方法で組み合わせ、ブレンドシェイプやリグの必要性を排除する、新しい自己監視型フレームワークである Versatile Face Animator を提案します。
私たちの手法には、次の 2 つの主な特徴があります。 1) 階層的なモーション辞書によって生の RGBD ビデオから顔の動きを学習し、粗いから細かい 3D 顔メッシュからレンダリングされた RGBD 画像をアニメーション化する RGBD アニメーション モジュールを提案し、任意の 3D 上で顔のアニメーションを可能にします。
トポロジー、テクスチャ、ブレンドシェイプ、リグに関係なくキャラクターを操作できます。
2) メッシュ リターゲット モジュールを導入し、RGBD アニメーションを利用して 3D 顔アニメーションを作成します。コントローラー変換で顔のメッシュを操作します。この変換は、高密度のオプティカル フロー フィールドから推定され、測地線距離ベースの重みとブレンドされます。
包括的な実験により、印象的な 3D 顔アニメーション結果の生成における私たちの提案したフレームワークの有効性が実証され、メタバースでの顔アニメーションの費用対効果が高く効率的な制作のための有望なソリューションとしての可能性が強調されています。

要約(オリジナル)

Creating realistic 3D facial animation is crucial for various applications in the movie production and gaming industry, especially with the burgeoning demand in the metaverse. However, prevalent methods such as blendshape-based approaches and facial rigging techniques are time-consuming, labor-intensive, and lack standardized configurations, making facial animation production challenging and costly. In this paper, we propose a novel self-supervised framework, Versatile Face Animator, which combines facial motion capture with motion retargeting in an end-to-end manner, eliminating the need for blendshapes or rigs. Our method has the following two main characteristics: 1) we propose an RGBD animation module to learn facial motion from raw RGBD videos by hierarchical motion dictionaries and animate RGBD images rendered from 3D facial mesh coarse-to-fine, enabling facial animation on arbitrary 3D characters regardless of their topology, textures, blendshapes, and rigs; and 2) we introduce a mesh retarget module to utilize RGBD animation to create 3D facial animation by manipulating facial mesh with controller transformations, which are estimated from dense optical flow fields and blended together with geodesic-distance-based weights. Comprehensive experiments demonstrate the effectiveness of our proposed framework in generating impressive 3D facial animation results, highlighting its potential as a promising solution for the cost-effective and efficient production of facial animation in the metaverse.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google