EVA3D: Compositional 3D Human Generation from 2D Image Collections

要約

インバース グラフィックスは、2D 観測から 3D モデルを復元することを目的としています。
微分可能なレンダリングを利用して、最近の 3D 認識生成モデルは、2D 画像を使用した剛体オブジェクト生成の印象的な結果を示しています。
ただし、ポーズや外観が複雑で多様であるため、人体のような多関節オブジェクトを生成することは依然として困難です。
この作業では、2D 画像コレクションのみから学習した無条件の 3D 人間生成モデルである EVA3D を提案します。
EVA3D は、詳細なジオメトリを使用して 3D の人間をサンプリングし、高品質の画像 (最大 512×256) を追加機能 (超解像度など) なしでレンダリングできます。
EVA3D の中核にあるのは、人体を局所的な部分に分割する合成人間 NeRF 表現です。
各パーツは、個別のボリュームで表されます。
この合成表現により、1) 固有の人間の事前分布、2) ネットワーク パラメーターの適応割り当て、3) 効率的なトレーニングとレンダリングが可能になります。
さらに、まばらな 2D 人物画像コレクションの特性 (不均衡なポーズ分布など) に対応するために、より良い GAN 学習のためのポーズガイド付きサンプリング戦略を提案します。
広範な実験により、EVA3D がジオメトリとテクスチャ品質の両方に関して最先端の 3D ヒューマン ジェネレーション パフォーマンスを達成することが検証されています。
特に、EVA3D は、クリーンなフレームワークで多様な人体を「インバース グラフィックス」するための大きな可能性とスケーラビリティを示しています。

要約(オリジナル)

Inverse graphics aims to recover 3D models from 2D observations. Utilizing differentiable rendering, recent 3D-aware generative models have shown impressive results of rigid object generation using 2D images. However, it remains challenging to generate articulated objects, like human bodies, due to their complexity and diversity in poses and appearances. In this work, we propose, EVA3D, an unconditional 3D human generative model learned from 2D image collections only. EVA3D can sample 3D humans with detailed geometry and render high-quality images (up to 512×256) without bells and whistles (e.g. super resolution). At the core of EVA3D is a compositional human NeRF representation, which divides the human body into local parts. Each part is represented by an individual volume. This compositional representation enables 1) inherent human priors, 2) adaptive allocation of network parameters, 3) efficient training and rendering. Moreover, to accommodate for the characteristics of sparse 2D human image collections (e.g. imbalanced pose distribution), we propose a pose-guided sampling strategy for better GAN learning. Extensive experiments validate that EVA3D achieves state-of-the-art 3D human generation performance regarding both geometry and texture quality. Notably, EVA3D demonstrates great potential and scalability to ‘inverse-graphics’ diverse human bodies with a clean framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google