StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

要約

STDGenは、単一の画像からセマンティックに分解された高品質の3D文字を生成するための革新的なパイプラインであり、仮想現実、ゲーム、映画制作などの幅広いアプリケーションを可能にします。
つまり、3分で、ボディ、衣服、髪などのセマンティックコンポーネントを分離した複雑に詳細な3D文字を生成します。
STDGENの中核には、提案されているセマンティックアウェア大規模再建モデル（S-LRM）があります。これは、マルチビュー画像からジオメトリ、色、およびセマンティクスをフィードフォワード方法で共同で再構築する変圧器ベースの一般化可能なモデルです。
S-LRMによって再構築されたハイブリッド暗黙のフィールドからメッシュを取得するために、微層微分層セマンティック表面抽出スキームが導入されています。
さらに、特殊な効率的なマルチビュー拡散モデルと反復的な多層表面改良モジュールがパイプラインに統合され、高品質の分解可能な3D文字生成が促進されます。
広範な実験は、3Dアニメキャラクター生成における最先端のパフォーマンスを示しており、既存のベースラインを幾何学、テクスチャ、分解性の大きなマージンで超えています。
STDGENは、すぐに使用できるセマンティックデコムポーズ3D文字を提供し、幅広いアプリケーションに柔軟なカスタマイズを可能にします。
プロジェクトページ：https：//stdgen.github.io

要約(オリジナル)

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google