Facial Expression Re-targeting from a Single Character

要約

デジタル顔アニメーションのビデオ リターゲティングは、人間の顔のビデオに基づいてアバターの表情をアニメーション化することを目的として、仮想現実、ソーシャル メディア、ゲーム、映画、ビデオ会議で使用されます。
3D キャラクターの顔の表情を表現する標準的な方法は、アバターのニュートラルな形状と笑顔、ふかふか、まばたきなどの顔の表情の変化を表す重みのベクトルであるブレンドシェイプによるものです。
ブレンドシェイプ ベクトルを含むペアのフレームのデータセットはまれであり、ラベル付けは手間と時間がかかり、主観的なものになる可能性があります。
この作業では、適切なデータセットの欠如に対処するアプローチを開発しました。
代わりに、1 文字のみの合成データセットを使用しました。
さまざまなキャラクターを一般化するために、ランドマークに直面するように各フレームを再表現しました。
私たちは、顔の器官ごとにランドマークをグループ化し、それらを関連するブレンドシェイプの重みに結び付ける独自の深層学習アーキテクチャを開発しました。
さらに、ランドマークでは表現しきれない表情を補完する手法を取り入れ、目の表情にもこだわりました。
私たちは、定性的および定量的指標における以前の研究に対するアプローチの優位性を実証しました。
私たちのアプローチは、さまざまなユーザーや表現を含むビデオでテストした場合、68% という高い MOS と 44.2% という低い MSE を達成しました。

要約(オリジナル)

Video retargeting for digital face animation is used in virtual reality, social media, gaming, movies, and video conference, aiming to animate avatars’ facial expressions based on videos of human faces. The standard method to represent facial expressions for 3D characters is by blendshapes, a vector of weights representing the avatar’s neutral shape and its variations under facial expressions, e.g., smile, puff, blinking. Datasets of paired frames with blendshape vectors are rare, and labeling can be laborious, time-consuming, and subjective. In this work, we developed an approach that handles the lack of appropriate datasets. Instead, we used a synthetic dataset of only one character. To generalize various characters, we re-represented each frame to face landmarks. We developed a unique deep-learning architecture that groups landmarks for each facial organ and connects them to relevant blendshape weights. Additionally, we incorporated complementary methods for facial expressions that landmarks did not represent well and gave special attention to eye expressions. We have demonstrated the superiority of our approach to previous research in qualitative and quantitative metrics. Our approach achieved a higher MOS of 68% and a lower MSE of 44.2% when tested on videos with various users and expressions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google