3DHumanGAN: Towards Photo-Realistic 3D-Aware Human Image Generation

要約

3D-aware Generative Adversarial Network (GAN) である 3DHumanGAN を提示します。これは、さまざまなビュー角度と体のポーズの下で一貫した外観を持つ全身の人間の画像を合成します。
人体の関節構造を合成する際の表現と計算の課題に取り組むために、2D 畳み込みバックボーンが 3D ポーズ マッピング ネットワークによって変調される新しいジェネレータ アーキテクチャを提案します。
3D ポーズ マッピング ネットワークは、ポーズ付けされた 3D ヒューマン メッシュを条件とするレンダリング可能な陰関数として定式化されます。
この設計にはいくつかのメリットがあります。i) 2D GAN のパワーを利用して写真のようにリアルな画像を生成できます。
ii) さまざまな視野角と指定可能なポーズの下で一貫した画像を生成します。
iii) モデルは、3D ヒューマン プライアーの恩恵を受けることができます。
私たちのモデルは、手動の注釈を必要とせずに、Web 画像のコレクションから敵対的に学習されます。

要約(オリジナル)

We present 3DHumanGAN, a 3D-aware generative adversarial network (GAN) that synthesizes images of full-body humans with consistent appearances under different view-angles and body-poses. To tackle the representational and computational challenges in synthesizing the articulated structure of human bodies, we propose a novel generator architecture in which a 2D convolutional backbone is modulated by a 3D pose mapping network. The 3D pose mapping network is formulated as a renderable implicit function conditioned on a posed 3D human mesh. This design has several merits: i) it allows us to harness the power of 2D GANs to generate photo-realistic images; ii) it generates consistent images under varying view-angles and specifiable poses; iii) the model can benefit from the 3D human prior. Our model is adversarially learned from a collection of web images needless of manual annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google