NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real Image Animation

要約

Nerf ベースのジェネレーティブ モデルは、一貫した 3D ジオメトリを使用して高品質の画像を生成する優れた能力を示しています。
潜在空間からランダムにサンプリングされた偽のアイデンティティ画像の合成に成功したにもかかわらず、実際の被写体の顔画像を生成するためにこれらのモデルを採用することは、いわゆる反転の問題のために依然として困難な作業です。
この論文では、これらのNeRF-GANモデルを外科的に微調整して、単一の画像のみで実際の被写体の忠実度の高いアニメーションを実現する普遍的な方法を提案します。
ドメイン外の実画像の最適化された潜在コードが与えられた場合、レンダリングされた画像に 2D 損失関数を使用して、ID ギャップを減らします。
さらに、私たちの方法は、最適化された潜在コードの周りのドメイン内の近傍サンプルを使用して、明示的および暗黙的な 3D 正則化を活用して、幾何学的および視覚的なアーティファクトを削除します。
私たちの実験では、さまざまなデータセットにわたる複数の NeRF-GAN モデルで、現実的で忠実度が高く、3D で一貫した実際の顔のアニメーションにおけるこの方法の有効性が確認されています。

要約(オリジナル)

Nerf-based Generative models have shown impressive capacity in generating high-quality images with consistent 3D geometry. Despite successful synthesis of fake identity images randomly sampled from latent space, adopting these models for generating face images of real subjects is still a challenging task due to its so-called inversion issue. In this paper, we propose a universal method to surgically fine-tune these NeRF-GAN models in order to achieve high-fidelity animation of real subjects only by a single image. Given the optimized latent code for an out-of-domain real image, we employ 2D loss functions on the rendered image to reduce the identity gap. Furthermore, our method leverages explicit and implicit 3D regularizations using the in-domain neighborhood samples around the optimized latent code to remove geometrical and visual artifacts. Our experiments confirm the effectiveness of our method in realistic, high-fidelity, and 3D consistent animation of real faces on multiple NeRF-GAN models across different datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google