Learning a Generalized Physical Face Model From Data

要約

物理ベースのシミュレーションは、結果として生じる変形が物理的制約によって制御されるため、3D 顔アニメーションの強力なアプローチであり、自己衝突を簡単に解決し、外部の力に応答し、現実的な解剖学的編集を実行できます。
現在の手法はデータ駆動型であり、有限要素の作動はキャプチャされた皮膚の形状から推測されます。
残念ながら、マテリアル空間の初期化と各キャラクタの変形モデルの学習が個別に複雑であるため、これらのアプローチは広く採用されていません。多くの場合、熟練したアーティストとそれに続く長いネットワーク トレーニングが必要です。
この研究では、大規模な 3D 顔データセットからシミュレーションなしで学習する一般化された物理顔モデルを提案することで、物理ベースの顔アニメーションをより利用しやすくすることを目指しています。
トレーニングが完了すると、モデルは目に見えないアイデンティティにすぐに適合し、すぐにアニメーション化できる物理的な顔モデルを自動的に生成できます。
フィッティングは 1 つの 3D 顔スキャン、または 1 つの顔画像を提供するだけで簡単に行えます。
フィッティング後は、直感的なアニメーション コントロールと、キャラクター間でアニメーションをリターゲットする機能が提供されます。
その間、結果として得られるアニメーションにより、衝突回避、重力、麻痺、骨の再形成などの物理的効果が可能になります。

要約(オリジナル)

Physically-based simulation is a powerful approach for 3D facial animation as the resulting deformations are governed by physical constraints, allowing to easily resolve self-collisions, respond to external forces and perform realistic anatomy edits. Today’s methods are data-driven, where the actuations for finite elements are inferred from captured skin geometry. Unfortunately, these approaches have not been widely adopted due to the complexity of initializing the material space and learning the deformation model for each character separately, which often requires a skilled artist followed by lengthy network training. In this work, we aim to make physics-based facial animation more accessible by proposing a generalized physical face model that we learn from a large 3D face dataset in a simulation-free manner. Once trained, our model can be quickly fit to any unseen identity and produce a ready-to-animate physical face model automatically. Fitting is as easy as providing a single 3D face scan, or even a single face image. After fitting, we offer intuitive animation controls, as well as the ability to retarget animations across characters. All the while, the resulting animations allow for physical effects like collision avoidance, gravity, paralysis, bone reshaping and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google