MetaHead: An Engine to Create Realistic Digital Head

要約

【タイトル】 MetaHead：リアルなデジタルヘッドを生成するエンジン

【要約】

– 学習ベースの方法において、トレーニングデータを収集しラベル付けすることは、時間がかかる上に偏りがあるため、重要な手順の1つである。
– 顔解析タスクにおいて、いくつかの生成モデルを用いて顔のデータを生成することができるが、生成多様性、再構成精度、3Dの整合性、高精度な視覚的品質、編集可能性の一部のみを達成することができる。
– 最近の関連研究の1つは、グラフィックスベースの生成方法であり、高い計算コストでしか低い現実性のあるヘッドをレンダリングすることができない。
– 本論文では、容易に操作可能な完全なデジタルヘッドエンジンである「MetaHead」を提案する。このエンジンには、カスタマイズ可能な特徴ラベルに一致するデジタルヘッドを生成するためのラベルヘッドと、ビューに一貫性がある3Dコントロール可能なデジタルヘッドを超現実的に生成または再構築するためのコントロールヘッド放射場（MetaHead-F）が含まれる。
– 実験により、MetaHeadエンジンは、最先端の生成視覚的品質と再構成精度を達成することが観察された。また、生成されたラベルデータは、グラフィックスベースの方法よりもトレーニング効果において優れており、本物のトレーニングデータを支援することができる。

要約(オリジナル)

Collecting and labeling training data is one important step for learning-based methods because the process is time-consuming and biased. For face analysis tasks, although some generative models can be used to generate face data, they can only achieve a subset of generation diversity, reconstruction accuracy, 3D consistency, high-fidelity visual quality, and easy editability. One recent related work is the graphics-based generative method, but it can only render low realism head with high computation cost. In this paper, we propose MetaHead, a unified and full-featured controllable digital head engine, which consists of a controllable head radiance field(MetaHead-F) to super-realistically generate or reconstruct view-consistent 3D controllable digital heads and a generic top-down image generation framework LabelHead to generate digital heads consistent with the given customizable feature labels. Experiments validate that our controllable digital head engine achieves the state-of-the-art generation visual quality and reconstruction accuracy. Moreover, the generated labeled data can assist real training data and significantly surpass the labeled data generated by graphics-based methods in terms of training effect.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI