CharacterGen: Efficient 3D Character Generation from Single Images with Multi-View Pose Canonicalization

要約

デジタル コンテンツ作成の分野では、特にさまざまな体のポーズの複雑さ、セルフオクルージョンやポーズの曖昧さの問題を考慮すると、単一の画像から高品質の 3D キャラクターを生成することは困難です。
本稿では、3D キャラクターを効率的に生成するために開発されたフレームワークである CharacterGen について紹介します。
CharacterGen は、画像調整されたマルチビュー拡散モデルとともに、合理化された生成パイプラインを導入します。
このモデルは、入力画像の主要な属性を保持しながら、入力ポーズを標準形式に効果的に校正することで、多様なポーズによってもたらされる課題に対処します。
トランスフォーマーベースの一般化可能なスパースビュー再構成モデ​​ルは、私たちのアプローチのもう 1 つのコアコンポーネントであり、マルチビュー画像からの詳細な 3D モデルの作成を容易にします。
また、テクスチャ逆投影戦略を採用して、高品質のテクスチャ マップを生成します。
さらに、モデルをトレーニングして評価するために、複数のポーズとビューでレンダリングされたアニメ キャラクターのデータセットを厳選しました。
私たちのアプローチは定量的および定性的な実験を通じて徹底的に評価されており、リギングやアニメーションなどの下流アプリケーションに対応できる高品質の形状とテクスチャを備えた 3D キャラクターの生成に熟練していることが示されています。

要約(オリジナル)

In the field of digital content creation, generating high-quality 3D characters from single images is challenging, especially given the complexities of various body poses and the issues of self-occlusion and pose ambiguity. In this paper, we present CharacterGen, a framework developed to efficiently generate 3D characters. CharacterGen introduces a streamlined generation pipeline along with an image-conditioned multi-view diffusion model. This model effectively calibrates input poses to a canonical form while retaining key attributes of the input image, thereby addressing the challenges posed by diverse poses. A transformer-based, generalizable sparse-view reconstruction model is the other core component of our approach, facilitating the creation of detailed 3D models from multi-view images. We also adopt a texture-back-projection strategy to produce high-quality texture maps. Additionally, we have curated a dataset of anime characters, rendered in multiple poses and views, to train and evaluate our model. Our approach has been thoroughly evaluated through quantitative and qualitative experiments, showing its proficiency in generating 3D characters with high-quality shapes and textures, ready for downstream applications such as rigging and animation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google