Disentangled Clothed Avatar Generation from Text Descriptions

要約

本稿では、人体と衣服を別々に生成し、生成されたアバター上で高品質なアニメーションを可能にする、新しいテキストからアバターへの生成方法を紹介します。
テキストからアバターへの生成における最近の進歩により、テキスト プロンプトから多様な人間のアバターが生成されますが、これらの方法では通常、衣服、髪、体などのすべての要素が 1 つの 3D 表現に結合されます。
このような複雑なアプローチは、編集やアニメーションなどの下流のタスクに課題をもたらします。
これらの制限を克服するために、SMPL モデルに基づいて構築された Sequentially Offset-SMPL (SO-SMPL) という名前の新しいもつれのない 3D アバター表現を提案します。
SO-SMPL は、人体と衣服を 2 つの別個のメッシュで表しますが、それらをオフセットに関連付けて、体と衣服の間の物理的な位置合わせを保証します。
次に、テキスト プロンプトから提案された SO-SMPL 表現を生成するために、スコア蒸留サンプリング (SDS) ベースの蒸留フレームワークを設計します。
私たちのアプローチは、より高いテクスチャとジオメトリの品質、およびテキスト プロンプトとのより良いセマンティック整合を実現するだけでなく、キャラクター アニメーション、仮想試着、アバター編集の視覚的な品質も大幅に向上させます。
プロジェクトページ: https://shanemankiw.github.io/SO-SMPL/。

要約(オリジナル)

In this paper, we introduce a novel text-to-avatar generation method that separately generates the human body and the clothes and allows high-quality animation on the generated avatar. While recent advancements in text-to-avatar generation have yielded diverse human avatars from text prompts, these methods typically combine all elements-clothes, hair, and body-into a single 3D representation. Such an entangled approach poses challenges for downstream tasks like editing or animation. To overcome these limitations, we propose a novel disentangled 3D avatar representation named Sequentially Offset-SMPL (SO-SMPL), building upon the SMPL model. SO-SMPL represents the human body and clothes with two separate meshes but associates them with offsets to ensure the physical alignment between the body and the clothes. Then, we design a Score Distillation Sampling (SDS)-based distillation framework to generate the proposed SO-SMPL representation from text prompts. Our approach not only achieves higher texture and geometry quality and better semantic alignment with text prompts, but also significantly improves the visual quality of character animation, virtual try-on, and avatar editing. Project page: https://shanemankiw.github.io/SO-SMPL/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google