Learning a Generalized Physical Face Model From Data

要約

物理ベースのシミュレーションは、結果として生じる変形が物理的な制約に支配されるため、3Dフェイシャルアニメーションにとって強力なアプローチであり、自己衝突の解決、外力への対応、リアルな解剖学的編集を容易に行うことができます。今日の手法はデータ駆動型であり、有限要素のアクチュエーションはキャプチャされた皮膚形状から推測されます。残念ながら、これらのアプローチは、マテリアル空間の初期化や各キャラクタの変形モデルの個別学習が複雑であるため、広く採用されていません。本研究では、大規模な3D顔データセットから学習する一般化された物理顔モデルを提案することで、物理ベースの顔アニメーションをより利用しやすくすることを目指す。一旦学習されれば、我々のモデルはあらゆる未知のアイデンティティに素早くフィットし、すぐにアニメーション可能な物理的顔モデルを自動的に生成することができる。フィッティングは、単一の3D顔スキャン、または単一の顔画像を提供するのと同じくらい簡単です。フィッティング後は、直感的なアニメーション・コントロールと、キャラクターをまたいだアニメーションのリターゲット機能を提供します。その結果、衝突回避、重力、麻痺、ボーンリシェイプなどの物理的なエフェクトが可能になります。

要約(オリジナル)

Physically-based simulation is a powerful approach for 3D facial animation as the resulting deformations are governed by physical constraints, allowing to easily resolve self-collisions, respond to external forces and perform realistic anatomy edits. Today’s methods are data-driven, where the actuations for finite elements are inferred from captured skin geometry. Unfortunately, these approaches have not been widely adopted due to the complexity of initializing the material space and learning the deformation model for each character separately, which often requires a skilled artist followed by lengthy network training. In this work, we aim to make physics-based facial animation more accessible by proposing a generalized physical face model that we learn from a large 3D face dataset. Once trained, our model can be quickly fit to any unseen identity and produce a ready-to-animate physical face model automatically. Fitting is as easy as providing a single 3D face scan, or even a single face image. After fitting, we offer intuitive animation controls, as well as the ability to retarget animations across characters. All the while, the resulting animations allow for physical effects like collision avoidance, gravity, paralysis, bone reshaping and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL