SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator

要約

近年、デジタル ヒューマン、キャラクター生成、およびアニメーションでの幅広いアプリケーションにより、3D 人間の顔モデリングへの関心が高まっています。
既存のアプローチは、顔の外側の形状、テクスチャ、および肌の特性をモデル化することに圧倒的に重点を置いており、内部の骨格構造と外観との間の固有の相関関係を無視しています。
このホワイト ペーパーでは、学習したパラメトリック フェイシャル ジェネレーターを使用したスケルトンの一貫性を備えた 3D 顔の作成である SCULPTOR を紹介します。これは、ハイブリッド パラメトリック物理表現を介して、解剖学的に正しく、視覚的に説得力のある顔モデルの両方を簡単に作成できるようにすることを目的としています。
SCULPTOR の中核をなすのは、整形外科医と共同で作成した初の大規模なシェイプ スケルトンの顔データセットである LUCY です。
知られている最も古い人類の祖先の 1 人の化石にちなんで名付けられた LUCY データセットには、手術結果の評価に不可欠な、両顎手術前後の人間の頭部全体の高品質 CT (コンピュータ断層撮影) スキャンが含まれています。
LUCY は、72 人の被験者 (男性 31 人、女性 41 人) の 144 スキャンで構成され、各被験者は両顎手術の前後に 2 回の CT スキャンを取得しています。
LUCY データセットに基づいて、キャラクターを定義すると同時に生理学的な健全性を維持するのに役立つユニークでニュアンスのある顔の特徴を作成できる、新しいスケルトン一貫性のあるパラメトリック フェイシャル ジェネレーター SCULPTOR を学習します。
当社の SCULPTOR は、3D 顔の描写をシェイプ ブレンド シェイプ、ポーズ ブレンド シェイプ、表情ブレンド シェイプに分離することにより、統一されたデータ駆動型フレームワークの下で頭蓋骨、顔のジオメトリ、および顔の外観を共同でモデル化します。
SCULPTOR は、既存の方法と比較して、顔の生成タスクで解剖学的な正確性と視覚的リアリズムの両方を維持します。
最後に、SCULPTOR の堅牢性と有効性を、これまでにないさまざまな派手なアプリケーションで紹介します。

要約(オリジナル)

Recent years have seen growing interest in 3D human faces modelling due to its wide applications in digital human, character generation and animation. Existing approaches overwhelmingly emphasized on modeling the exterior shapes, textures and skin properties of faces, ignoring the inherent correlation between inner skeletal structures and appearance. In this paper, we present SCULPTOR, 3D face creations with Skeleton Consistency Using a Learned Parametric facial generaTOR, aiming to facilitate easy creation of both anatomically correct and visually convincing face models via a hybrid parametric-physical representation. At the core of SCULPTOR is LUCY, the first large-scale shape-skeleton face dataset in collaboration with plastic surgeons. Named after the fossils of one of the oldest known human ancestors, our LUCY dataset contains high-quality Computed Tomography (CT) scans of the complete human head before and after orthognathic surgeries, critical for evaluating surgery results. LUCY consists of 144 scans of 72 subjects (31 male and 41 female) where each subject has two CT scans taken pre- and post-orthognathic operations. Based on our LUCY dataset, we learn a novel skeleton consistent parametric facial generator, SCULPTOR, which can create the unique and nuanced facial features that help define a character and at the same time maintain physiological soundness. Our SCULPTOR jointly models the skull, face geometry and face appearance under a unified data-driven framework, by separating the depiction of a 3D face into shape blend shape, pose blend shape and facial expression blend shape. SCULPTOR preserves both anatomic correctness and visual realism in facial generation tasks compared with existing methods. Finally, we showcase the robustness and effectiveness of SCULPTOR in various fancy applications unseen before.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google