TADA! Text to Animatable Digital Avatars

要約

TADA は、テキストによる説明を取得し、高品質のジオメトリと本物のようなテクスチャを備えた表現力豊かな 3D アバターを生成する、シンプルかつ効果的なアプローチであり、従来のグラフィック パイプラインでアニメーション化およびレンダリングできるものです。
既存のテキストベースのキャラクター生成方法は、ジオメトリとテクスチャの品質の点で制限があり、特に顔の領域でジオメトリとテクスチャの間の位置合わせが一貫していないため、現実的にアニメーション化することができません。
これらの制限を克服するために、TADA は 2D 拡散モデルとアニメーション可能なパラメトリック ボディ モデルの相乗効果を活用します。
具体的には、3D ディスプレイスメントとテクスチャ マップを備えた SMPL-X から最適化可能な高解像度ボディ モデルを導出し、スコア蒸留サンプリング (SDS) による階層レンダリングを使用して、テキストから高品質で詳細な全体的な 3D アバターを作成します。
ジオメトリとテクスチャ間の位置合わせを確実にするために、生成されたキャラクターの法線と RGB イメージをレンダリングし、SDS トレーニング プロセスでそれらの潜在的な埋め込みを利用します。
さらに、トレーニング中に生成されたキャラクターを変形するためのさまざまな表現パラメーターを導入し、生成されたキャラクターのセマンティクスが元の SMPL-X モデルと一貫性を保てるようにし、アニメーション化可能なキャラクターを実現します。
包括的な評価により、TADA は定性的および定量的測定の両方において既存のアプローチを大幅に上回っていることが実証されています。
TADA を使用すると、アニメーションやレンダリングにすぐに対応できる大規模なデジタル キャラクター アセットの作成が可能になると同時に、自然言語を通じて簡単に編集できます。
コードは研究目的で公開されます。

要約(オリジナル)

We introduce TADA, a simple-yet-effective approach that takes textual descriptions and produces expressive 3D avatars with high-quality geometry and lifelike textures, that can be animated and rendered with traditional graphics pipelines. Existing text-based character generation methods are limited in terms of geometry and texture quality, and cannot be realistically animated due to inconsistent alignment between the geometry and the texture, particularly in the face region. To overcome these limitations, TADA leverages the synergy of a 2D diffusion model and an animatable parametric body model. Specifically, we derive an optimizable high-resolution body model from SMPL-X with 3D displacements and a texture map, and use hierarchical rendering with score distillation sampling (SDS) to create high-quality, detailed, holistic 3D avatars from text. To ensure alignment between the geometry and texture, we render normals and RGB images of the generated character and exploit their latent embeddings in the SDS training process. We further introduce various expression parameters to deform the generated character during training, ensuring that the semantics of our generated character remain consistent with the original SMPL-X model, resulting in an animatable character. Comprehensive evaluations demonstrate that TADA significantly surpasses existing approaches on both qualitative and quantitative measures. TADA enables creation of large-scale digital character assets that are ready for animation and rendering, while also being easily editable through natural language. The code will be public for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google