High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization

要約

入力画像の特定の詳細を保持しながら、フォトリアリスティックな斬新なビューを合成できる、忠実度の高い 3D 敵対的生成ネットワーク (GAN) 反転フレームワークを提示します。
忠実度の高い 3D GAN インバージョンは、3D インバージョンでのジオメトリとテクスチャのトレードオフにより、本質的に困難です。単一のビュー入力画像へのオーバーフィッティングは、潜在的な最適化中に推定ジオメトリを損傷することがよくあります。
この課題を解決するために、可視性分析を使用した擬似マルチビュー推定に基づく新しいパイプラインを提案します。
可視部分の元のテクスチャを保持し、遮られた部分には生成事前分布を利用します。
広範な実験により、分布外のテクスチャを含む画像であっても、最先端の方法よりも有利な再構成と新しいビュー合成品質を達成することが示されています。
提案されたパイプラインは、反転された潜在的なコードと 3D を意識したテクスチャの変更による画像属性の編集も可能にします。
私たちのアプローチは、単一の画像から忠実度の高い 3D レンダリングを可能にし、AI によって生成された 3D コンテンツのさまざまなアプリケーションに有望です。

要約(オリジナル)

We present a high-fidelity 3D generative adversarial network (GAN) inversion framework that can synthesize photo-realistic novel views while preserving specific details of the input image. High-fidelity 3D GAN inversion is inherently challenging due to the geometry-texture trade-off in 3D inversion, where overfitting to a single view input image often damages the estimated geometry during the latent optimization. To solve this challenge, we propose a novel pipeline that builds on the pseudo-multi-view estimation with visibility analysis. We keep the original textures for the visible parts and utilize generative priors for the occluded parts. Extensive experiments show that our approach achieves advantageous reconstruction and novel view synthesis quality over state-of-the-art methods, even for images with out-of-distribution textures. The proposed pipeline also enables image attribute editing with the inverted latent code and 3D-aware texture modification. Our approach enables high-fidelity 3D rendering from a single image, which is promising for various applications of AI-generated 3D content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google