High-Fidelity 3D Face Generation from Natural Language Descriptions

要約

タイトル: 自然言語の記述からの高品質3D顔生成
要約:
– 自然言語記述から高品質の3Dフェイスモデルを生成することは、アバターの作成、仮想現実、テレプレゼンスなど多くのアプリケーションにとって非常に有益である。
– しかし、この課題に取り組んだ研究はほとんどない。理由は、(1) 記述的なテキストが付与された高品質の3Dフェイスデータが不足していること、(2) 言語空間と形状/外観空間の複雑なマッピング関係にあること。
– これらの問題を解決するために、text-to-3D face generation taskのためのfine-grainedなテキスト説明を持つDescribe3Dデータセットを構築した。
– 次に、2段階のフレームワークを提案し、具体的な記述に合致する3D顔を生成して、抽象的な記述を用いて3D形状とテクスチャー空間のパラメータを最適化して3Dフェイスモデルを洗練する。
– 大規模な実験結果により、従来の方法よりも正確性と品質が高い忠実な3D顔を生成できることを示した。
– コードとDescribe3Dデータセットは https://github.com/zhuhao-nju/describe3d で公開されている。

要約(オリジナル)

Synthesizing high-quality 3D face models from natural language descriptions is very valuable for many applications, including avatar creation, virtual reality, and telepresence. However, little research ever tapped into this task. We argue the major obstacle lies in 1) the lack of high-quality 3D face data with descriptive text annotation, and 2) the complex mapping relationship between descriptive language space and shape/appearance space. To solve these problems, we build Describe3D dataset, the first large-scale dataset with fine-grained text descriptions for text-to-3D face generation task. Then we propose a two-stage framework to first generate a 3D face that matches the concrete descriptions, then optimize the parameters in the 3D shape and texture space with abstract description to refine the 3D face model. Extensive experimental results show that our method can produce a faithful 3D face that conforms to the input descriptions with higher accuracy and quality than previous methods. The code and Describe3D dataset are released at https://github.com/zhuhao-nju/describe3d .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI