DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models

要約

DreamAvatar は、制御可能なポーズを持つ高品質の 3D 人間アバターを生成するための、テキストと形状のガイド付きフレームワークです。
テキストガイドによる 3D 共通オブジェクト生成に関する最近の手法により有望な結果が報告されていますが、人体の形状、ポーズ、外観の複雑さのため、高品質の人間アバターを生成することは依然として未解決の課題です。
私たちは、この課題に取り組むために、3D ポイントの密度と色を予測するためのトレーニング可能な NeRF と、2D 自己監視を提供するための事前トレーニングされたテキストから画像への拡散モデルを利用する DreamAvatar を提案します。
具体的には、SMPL モデルを活用して、生成に形状と姿勢のガイダンスを提供します。
学習可能な変形場によって関連付けられた正準空間とポーズ空間の共同最適化を含む二重観察空間設計を導入します。
これにより、ターゲットのポーズに忠実な、より完全なテクスチャとジオメトリの生成が容易になります。
また、全身とズームインした 3D 頭部から計算された損失を共同で最適化し、一般的な複数の顔「ヤヌス」問題を軽減し、生成されたアバターの顔の詳細を改善しました。
広範な評価により、DreamAvatar が既存の方法を大幅に上回っており、テキストと形状に基づいて 3D ヒューマン アバターを生成する新しい最先端技術が確立されていることが実証されています。

要約(オリジナル)

We present DreamAvatar, a text-and-shape guided framework for generating high-quality 3D human avatars with controllable poses. While encouraging results have been reported by recent methods on text-guided 3D common object generation, generating high-quality human avatars remains an open challenge due to the complexity of the human body’s shape, pose, and appearance. We propose DreamAvatar to tackle this challenge, which utilizes a trainable NeRF for predicting density and color for 3D points and pretrained text-to-image diffusion models for providing 2D self-supervision. Specifically, we leverage the SMPL model to provide shape and pose guidance for the generation. We introduce a dual-observation-space design that involves the joint optimization of a canonical space and a posed space that are related by a learnable deformation field. This facilitates the generation of more complete textures and geometry faithful to the target pose. We also jointly optimize the losses computed from the full body and from the zoomed-in 3D head to alleviate the common multi-face ”Janus” problem and improve facial details in the generated avatars. Extensive evaluations demonstrate that DreamAvatar significantly outperforms existing methods, establishing a new state-of-the-art for text-and-shape guided 3D human avatar generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google