3D GAN Inversion with Facial Symmetry Prior

要約

最近、高品質の 3D 認識 GAN が急増しており、ニューラル レンダリングの生成力を活用しています。
3D GAN を GAN 反転法と関連付けて、実際の画像をジェネレーターの潜在空間に投影し、3D GAN 反転と呼ばれるフリービューの一貫した合成と編集を可能にするのは自然なことです。
事前にトレーニングされた 3D GAN で保存された顔の事前情報を使用しても、単眼画像を 1 つだけ使用して 3D ポートレートを再構築することは、依然として不適切な問題です。
2D GAN 反転メソッドの直接的な適用は、テクスチャの類似性のみに焦点を当て、3D ジオメトリ形状の正確さを無視します。
特に極端なポーズで側面を再構築する場合は、ジオメトリの崩壊効果が発生する可能性があります。
その上、新しいビューの合成結果はぼやけがちです。
この作業では、事前に顔の対称性を導入することにより、3D GAN 反転を促進する新しい方法を提案します。
パイプラインと制約を設計して、画像反転によって得られた疑似補助ビューを最大限に活用します。これは、反転プロセス中に堅牢で合理的なジオメトリ形状を取得するのに役立ちます。
観察されていない視点でのテクスチャの忠実度を高めるために、深度ガイド付き 3D ワーピングからの疑似ラベルにより、追加の監視が提供されます。
非対称な状況での最適化のために競合領域を除外することを目的とした制約を設計します。
画像の再構成と編集に関する包括的な定量的および定性的な評価は、私たちの方法の優位性を示しています。

要約(オリジナル)

Recently, a surge of high-quality 3D-aware GANs have been proposed, which leverage the generative power of neural rendering. It is natural to associate 3D GANs with GAN inversion methods to project a real image into the generator’s latent space, allowing free-view consistent synthesis and editing, referred as 3D GAN inversion. Although with the facial prior preserved in pre-trained 3D GANs, reconstructing a 3D portrait with only one monocular image is still an ill-pose problem. The straightforward application of 2D GAN inversion methods focuses on texture similarity only while ignoring the correctness of 3D geometry shapes. It may raise geometry collapse effects, especially when reconstructing a side face under an extreme pose. Besides, the synthetic results in novel views are prone to be blurry. In this work, we propose a novel method to promote 3D GAN inversion by introducing facial symmetry prior. We design a pipeline and constraints to make full use of the pseudo auxiliary view obtained via image flipping, which helps obtain a robust and reasonable geometry shape during the inversion process. To enhance texture fidelity in unobserved viewpoints, pseudo labels from depth-guided 3D warping can provide extra supervision. We design constraints aimed at filtering out conflict areas for optimization in asymmetric situations. Comprehensive quantitative and qualitative evaluations on image reconstruction and editing demonstrate the superiority of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google