PREIM3D: 3D Consistent Precise Image Attribute Editing from a Single Image

要約

タイトル：PREIM3D：シングルイメージからの3D一貫した正確なイメージ属性の編集

要約：
– 実用上広範な適用がある、3D-aware image attribute editingの問題を研究している。
– 最近の方法は、画像を3Dジェネレータの潜在空間にマップするための共有エンコーダをトレーニングすることで、または画像ごとの潜在コード最適化を行い、潜在空間で画像を編集することで、問題を解決している。
– プロットの近くでは有望な結果が得られるが、大きなカメラのポーズで生成された画像の3D的な一貫性が欠けており、編集中に未指定の属性に影響を与えるなど、不正確なイメージ属性の編集が発生することがある。
– より効率的な画像反転のために、すべての画像用に共有エンコーダをトレーニングしている。
– 大きなカメラの位置での3D的な一貫性と主体アイデンティティを維持するために、交互トレーニングスキームとマルチビューID損失の2つの新しい方法を提案している。
– 不正確な画像編集について、実際の画像の潜在空間と生成された画像の間のギャップに起因するとしている。
– GANモデルの潜在空間と反転マニフォールドを比較し、反転マニフォールドでの編集が量的、質的評価の両方でより優れた結果を得ることを示している。
– 広範な実験により、アプローチ方法は、以前の方法よりも3D的に一貫した画像を生成し、より精密なイメージ編集を実現することが示された。プロジェクトページでソースコードと事前トレーニングモデルを見つけることができる：https://mybabyyh.github.io/Preim3D/

要約(オリジナル)

We study the 3D-aware image attribute editing problem in this paper, which has wide applications in practice. Recent methods solved the problem by training a shared encoder to map images into a 3D generator’s latent space or by per-image latent code optimization and then edited images in the latent space. Despite their promising results near the input view, they still suffer from the 3D inconsistency of produced images at large camera poses and imprecise image attribute editing, like affecting unspecified attributes during editing. For more efficient image inversion, we train a shared encoder for all images. To alleviate 3D inconsistency at large camera poses, we propose two novel methods, an alternating training scheme and a multi-view identity loss, to maintain 3D consistency and subject identity. As for imprecise image editing, we attribute the problem to the gap between the latent space of real images and that of generated images. We compare the latent space and inversion manifold of GAN models and demonstrate that editing in the inversion manifold can achieve better results in both quantitative and qualitative evaluations. Extensive experiments show that our method produces more 3D consistent images and achieves more precise image editing than previous work. Source code and pretrained models can be found on our project page: https://mybabyyh.github.io/Preim3D/

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI