AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose

要約

高度にカスタマイズされたテキストの説明とポーズのガイダンスから、表現力豊かで多様で高品質の 3D アバターを作成することは、詳細とさまざまなスタイル (現実的、架空など) を保証する 3D のモデリングとテクスチャリングが複雑であるため、困難な作業です。
私たちは、テキストの説明とポーズのガイダンスだけから表現力豊かな高品質の 3D アバターを生成するための安定したパイプラインである AvatarVerse を紹介します。
具体的には、DensePose 信号を条件とした 2D 拡散モデルを導入して、2D 画像を通じてアバターの 3D 姿勢制御を確立します。これにより、部分的に観察されたシナリオからのビューの一貫性が向上します。
これは悪名高いヤヌス問題に対処し、生成プロセスを大幅に安定させます。
さらに、作成される 3D アバターの品質を大幅に向上させる、進歩的な高解像度 3D 合成戦略を提案します。
この目的を達成するために、提案された AvatarVerse パイプラインは、以前の作品よりも表現力が高いだけでなく、より高品質で忠実な 3D アバターのゼロショット 3D モデリングを実現します。
厳格な定性評価とユーザー調査により、高忠実度の 3D アバターの合成における AvatarVerse の優位性が実証され、高品質で安定した 3D アバター作成の新しい標準につながります。
私たちのプロジェクトページは: https://avatarverse3d.github.io

要約(オリジナル)

Creating expressive, diverse and high-quality 3D avatars from highly customized text descriptions and pose guidance is a challenging task, due to the intricacy of modeling and texturing in 3D that ensure details and various styles (realistic, fictional, etc). We present AvatarVerse, a stable pipeline for generating expressive high-quality 3D avatars from nothing but text descriptions and pose guidance. In specific, we introduce a 2D diffusion model conditioned on DensePose signal to establish 3D pose control of avatars through 2D images, which enhances view consistency from partially observed scenarios. It addresses the infamous Janus Problem and significantly stablizes the generation process. Moreover, we propose a progressive high-resolution 3D synthesis strategy, which obtains substantial improvement over the quality of the created 3D avatars. To this end, the proposed AvatarVerse pipeline achieves zero-shot 3D modeling of 3D avatars that are not only more expressive, but also in higher quality and fidelity than previous works. Rigorous qualitative evaluations and user studies showcase AvatarVerse’s superiority in synthesizing high-fidelity 3D avatars, leading to a new standard in high-quality and stable 3D avatar creation. Our project page is: https://avatarverse3d.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google