AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control

要約

ニューラル暗黙的フィールドは、3D シーンを表現し、高品質で斬新なビューを生成するのに強力ですが、そのような暗黙的表現を使用して、簡単にアニメーション化できる特定のアイデンティティと芸術的なスタイルを持つ 3D ヒューマン アバターを作成することは依然として困難です。
私たちが提案する方法である AvatarCraft は、拡散モデルを使用して、単一のテキスト プロンプトに基づいてニューラル アバターのジオメトリとテクスチャの学習をガイドすることで、この課題に対処します。
高品質のジオメトリとテクスチャを生成するために、粗いものから細かいものへのマルチバウンディング ボックス トレーニング戦略、形状の正則化、拡散ベースの制約など、ニューラルの暗黙的なフィールドの最適化フレームワークを慎重に設計します。
さらに、ターゲットのヒューマン メッシュをテンプレートのヒューマン メッシュにマッピングする明示的なワーピング フィールドを使用してニューラル インプリシット フィールドを変形することにより、ヒューマン アバターをアニメート可能にします。両方ともパラメトリック ヒューマン モデルを使用して表されます。
これにより、ポーズと形状のパラメーターを制御することで、生成されたアバターのアニメーションと再形成が簡素化されます。
さまざまなテキスト記述に関する広範な実験により、AvatarCraft は人間のアバターを作成し、斬新なビュー、ポーズ、および形状をレンダリングするのに効果的かつ堅牢であることが示されています。
プロジェクトページは\url{https://avatar-craft.github.io/}です。

要約(オリジナル)

Neural implicit fields are powerful for representing 3D scenes and generating high-quality novel views, but it remains challenging to use such implicit representations for creating a 3D human avatar with a specific identity and artistic style that can be easily animated. Our proposed method, AvatarCraft, addresses this challenge by using diffusion models to guide the learning of geometry and texture for a neural avatar based on a single text prompt. We carefully design the optimization framework of neural implicit fields, including a coarse-to-fine multi-bounding box training strategy, shape regularization, and diffusion-based constraints, to produce high-quality geometry and texture. Additionally, we make the human avatar animatable by deforming the neural implicit field with an explicit warping field that maps the target human mesh to a template human mesh, both represented using parametric human models. This simplifies animation and reshaping of the generated avatar by controlling pose and shape parameters. Extensive experiments on various text descriptions show that AvatarCraft is effective and robust in creating human avatars and rendering novel views, poses, and shapes. Our project page is: \url{https://avatar-craft.github.io/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google