SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator

要約

近年、デジタルヒューマン、キャラクタ生成、アニメーションなど、幅広い用途に対応するため、3次元顔モデリングへの関心が高まっている。しかし、既存のモデリング手法では、顔の外形、テクスチャ、肌質などのモデリングに重点が置かれ、顔の内部の骨格構造と外見との相関が無視されています。本論文では、学習型パラメトリック顔モデル生成ツールSCULPTOR（Skeleton Consistency with 3D Face Creations Using a Learned Parametric facial GeneraTOR）を紹介します。この技術は、パラメトリックと物理のハイブリッド表現により、解剖学的に正しく、視覚的に説得力のある顔モデルを簡単に作成することを目指しています。SCULPTORの中核となるのは、形成外科医とのコラボレーションによる初の大規模な形状-骨格顔データセットであるLUCYです。人類最古の祖先の化石にちなんで名付けられたLUCYデータセットには、顎矯正手術前後の人間の頭部全体の高品質なコンピュータ断層撮影（CT）スキャンが含まれており、手術結果の評価に重要な役割を担っています。LUCYは72人の被験者（男性31人、女性41人）の144枚のスキャンから成り、各被験者は顎矯正手術の前後に撮影された2枚のCTスキャンを持ちます。LUCYのデータセットに基づき、我々は新しい骨格整合型パラメトリック顔面ジェネレータSCULPTORを学習し、キャラクターを定義するのに役立つユニークで微妙な顔の特徴を作成すると同時に、生理学的な健全性を維持することができるようになりました。SCULPTORは、3D顔の描写を形状ブレンド形状、ポーズブレンド形状、表情ブレンド形状に分離し、統一されたデータ駆動型フレームワークの下で頭蓋骨、顔形状、顔の外観を共同でモデル化する。SCULPTORは、既存の手法と比較して、顔生成タスクにおいて解剖学的な正確さと視覚的なリアルさの両方を維持することができます。最後に、これまでにない様々なファンシーアプリケーションにおけるSCULPTORの頑健性と有効性を紹介します。

要約(オリジナル)

Recent years have seen growing interest in 3D human faces modelling due to its wide applications in digital human, character generation and animation. Existing approaches overwhelmingly emphasized on modeling the exterior shapes, textures and skin properties of faces, ignoring the inherent correlation between inner skeletal structures and appearance. In this paper, we present SCULPTOR, 3D face creations with Skeleton Consistency Using a Learned Parametric facial generaTOR, aiming to facilitate easy creation of both anatomically correct and visually convincing face models via a hybrid parametric-physical representation. At the core of SCULPTOR is LUCY, the first large-scale shape-skeleton face dataset in collaboration with plastic surgeons. Named after the fossils of one of the oldest known human ancestors, our LUCY dataset contains high-quality Computed Tomography (CT) scans of the complete human head before and after orthognathic surgeries, critical for evaluating surgery results. LUCY consists of 144 scans of 72 subjects (31 male and 41 female) where each subject has two CT scans taken pre- and post-orthognathic operations. Based on our LUCY dataset, we learn a novel skeleton consistent parametric facial generator, SCULPTOR, which can create the unique and nuanced facial features that help define a character and at the same time maintain physiological soundness. Our SCULPTOR jointly models the skull, face geometry and face appearance under a unified data-driven framework, by separating the depiction of a 3D face into shape blend shape, pose blend shape and facial expression blend shape. SCULPTOR preserves both anatomic correctness and visual realism in facial generation tasks compared with existing methods. Finally, we showcase the robustness and effectiveness of SCULPTOR in various fancy applications unseen before.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL