Dual Encoder GAN Inversion for High-Fidelity 3D Head Reconstruction from Single Images

要約

3D GAN インバージョンは、単一の画像を 3D 敵対的生成ネットワーク (GAN) の潜在空間に投影し、それによって 3D ジオメトリの再構成を実現することを目的としています。
3D GAN 逆変換で良好な結果を達成するエンコーダは存在しますが、それらは主に EG3D に基づいて構築されており、正面付近のビューの合成に特化しており、多様な視点からの包括的な 3D シーンの合成には限界があります。
既存のアプローチとは対照的に、私たちは 360 度の視点から画像を合成することに優れた PanoHead 上に構築された新しいフレームワークを提案します。
入力画像のリアルな 3D モデリングを実現するために、高忠実度の再構成とさまざまな視点からのリアルな生成に特化したデュアル エンコーダー システムを導入します。
これに伴い、両方から最良の予測を得るために、トリプレーン ドメイン上でステッチング フレームワークを提案します。
シームレスなステッチングを実現するには、両方のエンコーダーが異なるタスクに特化しているにもかかわらず、一貫した結果を出力する必要があります。
このため、私たちは、新しいオクルージョン対応トリプレーン弁別器に基づく敵対的損失など、特殊な損失を使用してこれらのエンコーダーを注意深くトレーニングします。
実験により、私たちのアプローチが既存のエンコーダトレーニング方法を質的および量的に上回ることが明らかになりました。
プロジェクト ページ: https://berkegokmen1.github.io/dual-enc-3d-gan-inv にアクセスしてください。

要約(オリジナル)

3D GAN inversion aims to project a single image into the latent space of a 3D Generative Adversarial Network (GAN), thereby achieving 3D geometry reconstruction. While there exist encoders that achieve good results in 3D GAN inversion, they are predominantly built on EG3D, which specializes in synthesizing near-frontal views and is limiting in synthesizing comprehensive 3D scenes from diverse viewpoints. In contrast to existing approaches, we propose a novel framework built on PanoHead, which excels in synthesizing images from a 360-degree perspective. To achieve realistic 3D modeling of the input image, we introduce a dual encoder system tailored for high-fidelity reconstruction and realistic generation from different viewpoints. Accompanying this, we propose a stitching framework on the triplane domain to get the best predictions from both. To achieve seamless stitching, both encoders must output consistent results despite being specialized for different tasks. For this reason, we carefully train these encoders using specialized losses, including an adversarial loss based on our novel occlusion-aware triplane discriminator. Experiments reveal that our approach surpasses the existing encoder training methods qualitatively and quantitatively. Please visit the project page: https://berkegokmen1.github.io/dual-enc-3d-gan-inv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google