DreamHuman: Animatable 3D Avatars from Text

要約

私たちは、テキストの説明のみから現実的なアニメーション可能な 3D 人間アバター モデルを生成する方法である DreamHuman を紹介します。
最近のテキストから 3D への手法は、生成においてかなりの進歩を遂げていますが、重要な側面がまだ欠けています。
制御や多くの場合空間解像度は依然として限られており、既存の方法ではアニメーション化された 3D 人体モデルではなく固定された 3D 人体モデルが生成され、人間のような複雑な構造の人体計測上の一貫性が依然として課題となっています。
DreamHuman は、大規模なテキストから画像への合成モデル、神経放射フィールド、統計的人体モデルを新しいモデリングおよび最適化フレームワークで接続します。
これにより、高品質のテクスチャと学習されたインスタンス固有の表面変形を備えた動的な 3D 人間アバターを生成することが可能になります。
私たちの方法が、アニメーション化可能で現実的なさまざまな 3D 人間モデルをテキストから生成できることを実証します。
当社の 3D モデルは、外観、服装、肌の色、体型が多様で、視覚的な忠実度において、一般的なテキストから 3D へのアプローチや以前のテキストベースの 3D アバター ジェネレーターの両方を大幅に上回っています。
さらに多くの結果とアニメーションについては、当社の Web サイト (https://dream-human.github.io) をご覧ください。

要約(オリジナル)

We present DreamHuman, a method to generate realistic animatable 3D human avatar models solely from textual descriptions. Recent text-to-3D methods have made considerable strides in generation, but are still lacking in important aspects. Control and often spatial resolution remain limited, existing methods produce fixed rather than animated 3D human models, and anthropometric consistency for complex structures like people remains a challenge. DreamHuman connects large text-to-image synthesis models, neural radiance fields, and statistical human body models in a novel modeling and optimization framework. This makes it possible to generate dynamic 3D human avatars with high-quality textures and learned, instance-specific, surface deformations. We demonstrate that our method is capable to generate a wide variety of animatable, realistic 3D human models from text. Our 3D models have diverse appearance, clothing, skin tones and body shapes, and significantly outperform both generic text-to-3D approaches and previous text-based 3D avatar generators in visual fidelity. For more results and animations please check our website at https://dream-human.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google