SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance

要約

大規模なテキストから画像への生成モデルを利用して、テキストから 3D アバターへの生成は有望な進歩を遂げています。
ただし、ほとんどの方法では、不正確なジオメトリと低品質の外観によって制限され、フォトリアリスティックな結果を生成できません。
より実用的なアバター生成に向けて、分離されたジオメトリと外観の SElf-Evolving 制約を備えたテキストからフォトリアリスティックな 3D アバターを生成する方法である SEEAvatar を紹介します。
ジオメトリについては、テンプレート アバターを使用して最適化されたアバターを適切なグローバル形状に制約することを提案します。
テンプレートアバターは事前に人間によって初期化され、進化するテンプレートとして最適化されたアバターによって定期的に更新されるため、より柔軟な形状生成が可能になります。
さらに、ジオメトリは、繊細な構造を維持するために、顔や手などの局所的な部分の静的な人間のプリアによって制約されます。
外観の生成には、プロンプト エンジニアリングによって強化された拡散モデルを使用し、物理ベースのレンダリング パイプラインをガイドしてリアルなテクスチャを生成します。
不正確な照明効果を抑制するために、明度制約がアルベド テクスチャに適用されます。
実験の結果、私たちの方法は、グローバルおよびローカルのジオメトリと外観の品質の両方において、以前の方法よりも大幅に優れていることがわかりました。
私たちの方法では高品質のメッシュとテクスチャを生成できるため、そのようなアセットをクラシック グラフィックス パイプラインに直接適用して、あらゆる照明条件下でリアルなレンダリングを行うことができます。
プロジェクトページ: https://yoxu515.github.io/SEEAvatar/。

要約(オリジナル)

Powered by large-scale text-to-image generation models, text-to-3D avatar generation has made promising progress. However, most methods fail to produce photorealistic results, limited by imprecise geometry and low-quality appearance. Towards more practical avatar generation, we present SEEAvatar, a method for generating photorealistic 3D avatars from text with SElf-Evolving constraints for decoupled geometry and appearance. For geometry, we propose to constrain the optimized avatar in a decent global shape with a template avatar. The template avatar is initialized with human prior and can be updated by the optimized avatar periodically as an evolving template, which enables more flexible shape generation. Besides, the geometry is also constrained by the static human prior in local parts like face and hands to maintain the delicate structures. For appearance generation, we use diffusion model enhanced by prompt engineering to guide a physically based rendering pipeline to generate realistic textures. The lightness constraint is applied on the albedo texture to suppress incorrect lighting effect. Experiments show that our method outperforms previous methods on both global and local geometry and appearance quality by a large margin. Since our method can produce high-quality meshes and textures, such assets can be directly applied in classic graphics pipeline for realistic rendering under any lighting condition. Project page at: https://yoxu515.github.io/SEEAvatar/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google