En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data

要約

高品質の 3D 人間アバターを彫刻するための強化された生成スキームである En3D を紹介します。
希少な 3D データセットや、不均衡な視野角や不正確なポーズ事前分布を備えた限られた 2D コレクションに依存するこれまでの作品とは異なり、私たちのアプローチは、視覚的に現実的で、幾何学的に正確で、内容的に多様な 3D 人間を作成できるゼロショット 3D 生成スキームを開発することを目的としています。
既存の 3D または 2D アセットに依存します。
この課題に対処するために、合成 2D データから強化された 3D 生成モデルを学習するための正確な物理モデリングを実装する、細心の注意を払って作成されたワークフローを導入します。
推論中に、最適化モジュールを統合して、現実的な外観と粗い 3D 形状の間のギャップを埋めます。
具体的には、En3D は 3 つのモジュールで構成されています。1 つは、合成されたバランスのとれた多様で構造化された人間の画像から、現実的な外観を備えた一般化可能な 3D 人間を正確にモデル化する 3D ジェネレーターです。
複雑な人体構造のマルチビュー法線拘束を使用して形状の品質を向上させるジオメトリ スカルプター。
そして、セマンティック UV パーティショニングと微分可能なラスタライザーを活用して、明示的なテクスチャ マップを忠実度と編集可能性で解きほぐすテクスチャリング モジュールです。
実験結果は、私たちのアプローチが画質、ジオメトリの精度、コンテンツの多様性の点で以前の研究よりも大幅に優れていることを示しています。
また、生成されたアバターのアニメーションや編集への適用性や、コンテンツ スタイルを自由に適応させるためのアプローチの拡張性も紹介します。

要約(オリジナル)

We present En3D, an enhanced generative scheme for sculpting high-quality 3D human avatars. Unlike previous works that rely on scarce 3D datasets or limited 2D collections with imbalanced viewing angles and imprecise pose priors, our approach aims to develop a zero-shot 3D generative scheme capable of producing visually realistic, geometrically accurate and content-wise diverse 3D humans without relying on pre-existing 3D or 2D assets. To address this challenge, we introduce a meticulously crafted workflow that implements accurate physical modeling to learn the enhanced 3D generative model from synthetic 2D data. During inference, we integrate optimization modules to bridge the gap between realistic appearances and coarse 3D shapes. Specifically, En3D comprises three modules: a 3D generator that accurately models generalizable 3D humans with realistic appearance from synthesized balanced, diverse, and structured human images; a geometry sculptor that enhances shape quality using multi-view normal constraints for intricate human anatomy; and a texturing module that disentangles explicit texture maps with fidelity and editability, leveraging semantical UV partitioning and a differentiable rasterizer. Experimental results show that our approach significantly outperforms prior works in terms of image quality, geometry accuracy and content diversity. We also showcase the applicability of our generated avatars for animation and editing, as well as the scalability of our approach for content-style free adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google