StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

要約

私たちは、単一の画像から意味的に分解された高品質の 3D キャラクターを生成する革新的なパイプラインである StdGEN を紹介します。これにより、仮想現実、ゲーム、映画制作などの幅広いアプリケーションが可能になります。分解可能性の制限、満足のいく品質、最適化に長い時間がかかる従来の方法とは異なります。
, StdGEN は分解性、有効性、効率性を特徴としています。
つまり、体、衣服、髪などの分離された意味コンポーネントを持つ複雑で詳細な 3D キャラクターを 3 分で生成します。
StdGEN の中核となるのは、私たちが提案する Semantic-aware Large Reconstruction Model (S-LRM) です。これは、フィードフォワード方式でマルチビュー画像からジオメトリ、色、セマンティクスを共同で再構築する、トランスフォーマーベースの一般化可能なモデルです。
S-LRM によって再構築されたハイブリッド暗黙フィールドからメッシュを取得するために、微分可能な多層意味論的表面抽出スキームが導入されています。
さらに、特殊な効率的なマルチビュー拡散モデルと反復多層表面リファインメント モジュールがパイプラインに統合されており、高品質で分解可能な 3D キャラクターの生成が容易になります。
広範な実験により、3D アニメ キャラクター生成における当社の最先端のパフォーマンスが実証され、ジオメトリ、テクスチャ、分解可能性において既存のベースラインを大幅に上回りました。
StdGEN は、すぐに使用できるセマンティック分解された 3D キャラクターを提供し、幅広いアプリケーション向けに柔軟なカスタマイズを可能にします。
プロジェクトページ：https://stdgen.github.io

要約(オリジナル)

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google