DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models

要約

タイトル：DreamAvatar：拡散モデルによるテキストと形状に指示された3Dヒューマンアバターの生成

要約：
– DreamAvatarは、ポーズを制御できる高品質の3Dヒューマンアバターを生成するテキストと形状に指示されたフレームワークです。
– 最近の手法は、テキストに基づく3D共通オブジェクトの生成で良い結果を出していますが、人間の体の形状、ポーズ、外観の複雑さのために高品質なヒューマンアバターの生成は未だ課題です。
– DreamAvatarは、NeRFで密度と色の特徴を3Dポイントに予測する訓練可能なものを利用し、2D自己教師付きの事前学習済みテキストから画像への拡散モデルを利用します。
– SMPLモデルを活用して生成に粗いポーズと形状の指示を与えるデュアルスペース設計を採用し、正規一貫性の正規化を利用して、詳細なジオメトリとテクスチャを備えたより鮮やかな生成を可能にします。
– 多くの評価を通じて、DreamAvatarが従来の手法を大幅に上回り、テキストと形状に指示された3Dヒューマン生成の新しい最高性能を確立したことを示します。

要約(オリジナル)

We present DreamAvatar, a text-and-shape guided framework for generating high-quality 3D human avatars with controllable poses. While encouraging results have been produced by recent methods on text-guided 3D common object generation, generating high-quality human avatars remains an open challenge due to the complexity of the human body’s shape, pose, and appearance. We propose DreamAvatar to tackle this challenge, which utilizes a trainable NeRF for predicting density and color features for 3D points and a pre-trained text-to-image diffusion model for providing 2D self-supervision. Specifically, we leverage SMPL models to provide rough pose and shape guidance for the generation. We introduce a dual space design that comprises a canonical space and an observation space, which are related by a learnable deformation field through the NeRF, allowing for the transfer of well-optimized texture and geometry from the canonical space to the target posed avatar. Additionally, we exploit a normal-consistency regularization to allow for more vivid generation with detailed geometry and texture. Through extensive evaluations, we demonstrate that DreamAvatar significantly outperforms existing methods, establishing a new state-of-the-art for text-and-shape guided 3D human generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI