Learning Neural Parametric Head Models

要約

タイトル – 学習ニューラルパラメトリックヘッドモデル
要約 – 我々は、ハイブリッドニューラルフィールドに基づく完全な人間の頭部の新しい3D変形モデルを提案する。私たちのモデルの核心は、一貫したラテント空間でアイデンティティと表情を分離するニューラルパラメトリック表現である。このために、個人のアイデンティティを符号付き距離場（SDF）として標準空間にキャプチャし、顔の表情をニューラル変形場でモデル化する。さらに、私たちの表現は、顔のアンカーポイントを中心としたアンサンブルのローカルフィールドを導入することで高品質の局所詳細を実現する。汎化を容易にするために、私たちは、カスタムの高品質3Dスキャニングセットアップを使用して、255人の異なるアイデンティティからの5200以上の頭部スキャンの新しいデータセットでモデルをトレーニングする。私たちのデータセットは、面の平均値である約3.5Mのメッシュ面で比較可能な既存のデータセットを大幅に上回っている。最後に、私たちは、私たちの方法がフィッティングエラーや再構成品質などの面で最先端の方法を上回ることを示す。

要約(オリジナル)

We propose a novel 3D morphable model for complete human heads based on hybrid neural fields. At the core of our model lies a neural parametric representation that disentangles identity and expressions in disjoint latent spaces. To this end, we capture a person’s identity in a canonical space as a signed distance field (SDF), and model facial expressions with a neural deformation field. In addition, our representation achieves high-fidelity local detail by introducing an ensemble of local fields centered around facial anchor points. To facilitate generalization, we train our model on a newly-captured dataset of over 5200 head scans from 255 different identities using a custom high-end 3D scanning setup. Our dataset significantly exceeds comparable existing datasets, both with respect to quality and completeness of geometry, averaging around 3.5M mesh faces per scan. Finally, we demonstrate that our approach outperforms state-of-the-art methods in terms of fitting error and reconstruction quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI