FACTS: Facial Animation Creation using the Transfer of Styles

要約

感情を正確に捉えて表現する能力は、ビデオ ゲームやその他のエンターテイメントで信頼できるキャラクターを作成する上で重要な側面です。
従来、このアニメーションは芸術的な努力やパフォーマンス キャプチャによって実現されてきましたが、どちらも時間と労力のコストがかかります。
最近では、オーディオ駆動モデルが成功を収めていますが、これらはオーディオ信号と相関しない領域の表現力に欠けていることがよくあります。
この論文では、既存のアニメーションを利用し、スタイル特性の変更を可能にすることによる、顔アニメーションへの新しいアプローチを紹介します。
具体的には、StarGAN を使用して、3D 顔アニメーションをさまざまな感情や人物固有のスタイルに変換できるようにすることを検討しています。
新しい口形素保存損失の使用のおかげで、この方法でアニメーションのリップシンクを維持することができます。

要約(オリジナル)

The ability to accurately capture and express emotions is a critical aspect of creating believable characters in video games and other forms of entertainment. Traditionally, this animation has been achieved with artistic effort or performance capture, both requiring costs in time and labor. More recently, audio-driven models have seen success, however, these often lack expressiveness in areas not correlated to the audio signal. In this paper, we present a novel approach to facial animation by taking existing animations and allowing for the modification of style characteristics. Specifically, we explore the use of a StarGAN to enable the conversion of 3D facial animations into different emotions and person-specific styles. We are able to maintain the lip-sync of the animations with this method thanks to the use of a novel viseme-preserving loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google