HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

要約

人間の頭部モデリングの現在の進歩により、神経表現を介して、もっともらしい 3D 頭部モデルを生成できるようになりました。
それにもかかわらず、明示的に制御されたアニメーションを使用して完全な忠実度の高い頭部モデルを構築することは依然として課題です。
さらに、部分的な観察に基づいてヘッドの形状を完成させます。
既存の方法では、詳細を保持することがしばしば問題になります。
関節式 3DMM 上に詳細な 3D ヘッド メッシュの生成モデルを導入し、明示的なアニメーションと高ディテールの保存を同時に可能にします。
私たちのメソッドは 2 段階でトレーニングされます。
まず、頂点変位を含むパラメトリック頭部モデルを、最近導入された正確な 3D 頭部スキャンの NPHM データセットの各メッシュに登録します。
推定されたディスプレイスメントは、手作りの UV レイアウトにベイク処理されます。
次に、変位の UV マップを一般化するために、StyleGAN モデルをトレーニングします。
パラメトリック モデルの分解と高品質の頂点変位により、モデルをアニメーション化し、意味的に変更することができます。
無条件生成と完全または部分的な観測へのフィッティングの結果を示します。
プロジェクト ページは https://seva100.github.io/headcraft から入手できます。

要約(オリジナル)

Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google