HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

要約

人間のヘッドモデリングの現在の進歩により、NERFやSDFSなどの神経表現を介してもっともらしい外観の3Dヘッドモデルの生成が可能になります。
それにもかかわらず、明示的に制御されたアニメーションを備えた完全な忠実度ヘッドモデルを構築することは依然として問題です。
さらに、部分的な観測に基づいてヘッドジオメトリを完成させると、たとえば深さセンサーからのものである場合、既存の方法では高いレベルのディテールを保持することは、しばしば問題があります。
明示的なアニメーションと高販売の保存を同時に可能にする、明確な3DMMの上に詳細な3Dヘッドメッシュの生成モデルを導入します。
私たちの方法は2つの段階でトレーニングされています。
まず、正確な3Dヘッドスキャンの最近導入されたNPHMデータセットの各メッシュに頂点変位を持つパラメトリックヘッドモデルを登録します。
推定変位は、手作りのUVレイアウトに焼き付けられます。
第二に、StyleGanモデルをトレーニングして、変位のUVマップを一般化します。これは後にHeadcraftと呼ばれます。
パラメトリックモデルと高品質の頂点変位の分解により、モデルをアニメーション化し、領域を意味的に変更できます。
無条件のサンプリングの結果を示し、スキャンと編集に適合します。
プロジェクトページは、https：//seva100.github.io/headcraftで入手できます。

要約(オリジナル)

Current advances in human head modeling allow the generation of plausible-looking 3D head models via neural representations, such as NeRFs and SDFs. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g., coming from a depth sensor, while preserving a high level of detail is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM, simultaneously allowing explicit animation and high-detail preservation. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model to generalize over the UV maps of displacements, which we later refer to as HeadCraft. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify the regions semantically. We demonstrate the results of unconditional sampling, fitting to a scan and editing. The project page is available at https://seva100.github.io/headcraft.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google