FDLS: A Deep Learning Approach to Production Quality, Controllable, and Retargetable Facial Performances

要約

視覚効果では通常、リアルな合成人間の作成と、エイリアンやモンスターなどの人型キャラクターに俳優の演技のターゲットを変更する両方が必要です。
エンターテインメントで求められる表現力豊かなパフォーマンスを実現するには、数百ものパラメータを持つ複雑なモデルを操作する必要があります。
クリエイティブを完全にコントロールするには、制作のどの段階でも自由に編集できる必要があるため、解釈できないパラメータを含む完全に自動化された「ブラック ボックス」ソリューションの使用は禁止されます。
一方で、これらの洗練されたモデルを使用してリアルなアニメーションを作成するのは難しく、手間がかかります。
このペーパーでは、これらの課題に対する Weta Digital のソリューションである FDLS (Facial Deep Learning Solver) について説明します。
FDLS は、粗いものから細かいものへの人間参加型の戦略を採用しており、解決プロセスのいくつかの段階で、解決されたパフォーマンスを検証および編集できます。
FDLS をトレーニングするには、まずモーション キャプチャされた生のデータを堅牢なグラフ特徴に変換します。
次に、アーティストは通常​​、より詳細なディテールに進む前に顎の動きのアニメーションを完成させるという観察に基づいて、最初に顎の動きを解決し、顎の位置に条件付けされた領域ベースのネットワークを使用して細かい表情を予測します。
最後に、アーティストはオプションで FDLS ソリューション上で非線形微調整プロセスを呼び出して、モーション キャプチャされた仮想マーカーを可能な限り正確に追跡できます。
FDLS は、深層学習ソリューションの結果を改善するために必要な編集をサポートしており、俳優の顔の形状の毎日の小さな変化に対処できます。
FDLS を使用すると、多くの場合、最小限のトレーニングとほとんどまたはまったく手作業での作業を行わずに、信頼性の高い実稼働品質のパフォーマンスの解決が可能になります。また、異常で困難なケースでは、解決をガイドして編集することもできます。
このシステムは数年間にわたって開発されており、主要な映画で使用されています。

要約(オリジナル)

Visual effects commonly requires both the creation of realistic synthetic humans as well as retargeting actors’ performances to humanoid characters such as aliens and monsters. Achieving the expressive performances demanded in entertainment requires manipulating complex models with hundreds of parameters. Full creative control requires the freedom to make edits at any stage of the production, which prohibits the use of a fully automatic “black box” solution with uninterpretable parameters. On the other hand, producing realistic animation with these sophisticated models is difficult and laborious. This paper describes FDLS (Facial Deep Learning Solver), which is Weta Digital’s solution to these challenges. FDLS adopts a coarse-to-fine and human-in-the-loop strategy, allowing a solved performance to be verified and edited at several stages in the solving process. To train FDLS, we first transform the raw motion-captured data into robust graph features. Secondly, based on the observation that the artists typically finalize the jaw pass animation before proceeding to finer detail, we solve for the jaw motion first and predict fine expressions with region-based networks conditioned on the jaw position. Finally, artists can optionally invoke a non-linear finetuning process on top of the FDLS solution to follow the motion-captured virtual markers as closely as possible. FDLS supports editing if needed to improve the results of the deep learning solution and it can handle small daily changes in the actor’s face shape. FDLS permits reliable and production-quality performance solving with minimal training and little or no manual effort in many cases, while also allowing the solve to be guided and edited in unusual and difficult cases. The system has been under development for several years and has been used in major movies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google