Anatomically Constrained Implicit Face Models

要約

座標ベースの暗黙的ニューラル表現は、画像、ジオメトリ、およびシーンのモデリング タスクでうまく使用されてきたため、近年急速に人気が高まっています。
この研究では、解剖学的に制約された顔モデルを学習するというコンテキストで、そのような暗黙的表現の新しい使用例を紹介します。
俳優固有の解剖学的に制約された顔モデルは、顔のパフォーマンスのキャプチャとパフォーマンスのリターゲティングの両方において最先端のものです。
実際には成功しているにもかかわらず、これらの解剖学的モデルは評価が遅く、構築するには大規模なデータ収集が必要になることがよくあります。
私たちは解剖学的暗黙的顔モデルを提案します。
これは、顔の解剖学的構造と皮膚表面を高忠実度でモデル化することを共同で学習する暗黙的なニューラル ネットワークのアンサンブルであり、従来のブレンドシェイプ モデルの置き換えとして簡単に使用できます。
俳優の任意の皮膚表面メッシュのセットと、推定された頭蓋骨と顎の骨を含む中立的な形状のみが与えられると、私たちの方法は、顔の表面上のすべての点を拘束する密な解剖学的基礎構造を復元できます。
形状フィッティング、形状編集、パフォーマンスのリターゲットに至るまで、いくつかのタスクにおけるアプローチの有用性を実証します。

要約(オリジナル)

Coordinate based implicit neural representations have gained rapid popularity in recent years as they have been successfully used in image, geometry and scene modeling tasks. In this work, we present a novel use case for such implicit representations in the context of learning anatomically constrained face models. Actor specific anatomically constrained face models are the state of the art in both facial performance capture and performance retargeting. Despite their practical success, these anatomical models are slow to evaluate and often require extensive data capture to be built. We propose the anatomical implicit face model; an ensemble of implicit neural networks that jointly learn to model the facial anatomy and the skin surface with high-fidelity, and can readily be used as a drop in replacement to conventional blendshape models. Given an arbitrary set of skin surface meshes of an actor and only a neutral shape with estimated skull and jaw bones, our method can recover a dense anatomical substructure which constrains every point on the facial surface. We demonstrate the usefulness of our approach in several tasks ranging from shape fitting, shape editing, and performance retargeting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google