Bring Your Own Character: A Holistic Solution for Automatic Facial Animation Generation of Customized Characters

要約

仮想キャラクターのアニメーション化は、常に仮想現実 (VR) における基本的な研究課題でした。
顔のアニメーションは、仮想人間の感情や態度を効果的に伝えるため、重要な役割を果たします。
ただし、現在の方法では高価なモーション キャプチャ デバイスを使用したり、アニメーション パラメータを調整するためにアニメーターが多大な時間と労力を費やしたりすることが多いため、このような顔のアニメーションの作成は困難な場合があります。
この論文では、仮想人間の顔を自動的にアニメーション化するための総合的なソリューションを提案します。
私たちのソリューションでは、ブレンドシェイプ係数を推定することによって、入力顔画像から仮想人間の顔に表情を再ターゲットするように深層学習モデルが最初にトレーニングされました。
この方法では、さまざまな外観やブレンドシェイプ トポロジーのキャラクターを含むアニメーションを柔軟に生成できます。
2 番目に、Unity 3D を使用して実用的なツールキットが開発され、最も人気のある VR アプリケーションと互換性がありました。
このツールキットは、ターゲットの仮想人間の顔をアニメーション化するための入力として画像とビデオの両方を受け入れ、ユーザーがアニメーション結果を操作できるようにします。
さらに、Human-in-the-loop (HITL) の精神に触発され、ユーザーのフィードバックを活用してモデルとツールキットのパフォーマンスをさらに向上させ、ユーザーの好みに合わせてカスタマイズのプロパティを強化しました。
コードを公開するソリューション全体には、VR アプリケーションで使用する顔アニメーションの生成を加速する可能性があります。

要約(オリジナル)

Animating virtual characters has always been a fundamental research problem in virtual reality (VR). Facial animations play a crucial role as they effectively convey emotions and attitudes of virtual humans. However, creating such facial animations can be challenging, as current methods often involve utilization of expensive motion capture devices or significant investments of time and effort from human animators in tuning animation parameters. In this paper, we propose a holistic solution to automatically animate virtual human faces. In our solution, a deep learning model was first trained to retarget the facial expression from input face images to virtual human faces by estimating the blendshape coefficients. This method offers the flexibility of generating animations with characters of different appearances and blendshape topologies. Second, a practical toolkit was developed using Unity 3D, making it compatible with the most popular VR applications. The toolkit accepts both image and video as input to animate the target virtual human faces and enables users to manipulate the animation results. Furthermore, inspired by the spirit of Human-in-the-loop (HITL), we leveraged user feedback to further improve the performance of the model and toolkit, thereby increasing the customization properties to suit user preferences. The whole solution, for which we will make the code public, has the potential to accelerate the generation of facial animations for use in VR applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google