PhoMoH: Implicit Photorealistic 3D Models of Human Heads

要約

PhoMoH は、写真のようにリアルな 3D ジオメトリの生成モデルと、髪、あごひげ、口腔、衣服を含む人間の頭の外観を構築するためのニューラル ネットワーク手法です。
以前の研究とは対照的に、PhoMoH はニューラル フィールドを使用して人間の頭をモデル化し、複雑なトポロジをサポートします。
頭のモデルをゼロから学習する代わりに、既存の表情豊かな頭のモデルに新しい機能を追加することを提案します。
具体的には、中解像度の頭部モデルの上に重ねられた非常に詳細なジオメトリ ネットワークと、詳細でローカルなジオメトリを認識し、絡み合っていないカラー フィールドを学習します。
私たちが提案したアーキテクチャにより、比較的少ないデータから写真のようにリアルな人間の頭部モデルを学習できます。
学習したジェネレーティブ ジオメトリとアピアランス ネットワークを個別にサンプリングして、多様でリアルな人間の頭部を作成できます。
広範な実験により、私たちの方法が定性的に、またさまざまな指標にわたって検証されます。

要約(オリジナル)

We present PhoMoH, a neural network methodology to construct generative models of photo-realistic 3D geometry and appearance of human heads including hair, beards, an oral cavity, and clothing. In contrast to prior work, PhoMoH models the human head using neural fields, thus supporting complex topology. Instead of learning a head model from scratch, we propose to augment an existing expressive head model with new features. Concretely, we learn a highly detailed geometry network layered on top of a mid-resolution head model together with a detailed, local geometry-aware, and disentangled color field. Our proposed architecture allows us to learn photo-realistic human head models from relatively little data. The learned generative geometry and appearance networks can be sampled individually and enable the creation of diverse and realistic human heads. Extensive experiments validate our method qualitatively and across different metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google