AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text

要約

私たちは、テキストの説明のみから高忠実度でアニメーション可能な 3D アバターを作成する問題を研究します。
既存のテキストをアバターに変換する方法は、アニメーション化できない静的なアバターに限定されているか、期待できる品質と正確なポーズ制御を備えたアニメーション化可能なアバターを生成するのに苦労しています。
これらの制限に対処するために、アニメーション化可能な人間のアバター用の明示的なテクスチャ付き 3D メッシュを生成する、粗いから細かいまでの生成モデルである AvatarStudio を提案します。
具体的には、AvatarStudio は、粗生成のための低解像度 NeRF ベースの表現から始まり、続いて SMPL ガイド付きアーティキュレーションを明示的なメッシュ表現に組み込んでアバター アニメーションと高解像度レンダリングをサポートします。
結果として得られるアバターのビューの一貫性とポーズの制御性を確保するために、スコア蒸留サンプリングの監視のために DensePose を条件とした 2D 拡散モデルを導入します。
多関節メッシュ表現と DensePose 条件付き拡散モデルの間の相乗効果を効果的に活用することで、AvatarStudio はアニメーションの準備ができた高品質のアバターをテキストから作成でき、以前の方法を大幅に上回ります。
さらに、マルチモーダル アバター アニメーションやスタイルガイド付きアバター作成など、多くのアプリケーションに適しています。
詳しい結果については、プロジェクト ページを参照してください: http://jeff95.me/projects/avatarstudio.html

要約(オリジナル)

We study the problem of creating high-fidelity and animatable 3D avatars from only textual descriptions. Existing text-to-avatar methods are either limited to static avatars which cannot be animated or struggle to generate animatable avatars with promising quality and precise pose control. To address these limitations, we propose AvatarStudio, a coarse-to-fine generative model that generates explicit textured 3D meshes for animatable human avatars. Specifically, AvatarStudio begins with a low-resolution NeRF-based representation for coarse generation, followed by incorporating SMPL-guided articulation into the explicit mesh representation to support avatar animation and high resolution rendering. To ensure view consistency and pose controllability of the resulting avatars, we introduce a 2D diffusion model conditioned on DensePose for Score Distillation Sampling supervision. By effectively leveraging the synergy between the articulated mesh representation and the DensePose-conditional diffusion model, AvatarStudio can create high-quality avatars from text that are ready for animation, significantly outperforming previous methods. Moreover, it is competent for many applications, e.g., multimodal avatar animations and style-guided avatar creation. For more results, please refer to our project page: http://jeff95.me/projects/avatarstudio.html

arxiv情報

提供元, 利用サービス

arxiv.jp, Google