Reference-Based 3D-Aware Image Editing with Triplane

要約

Generative Adversarial Networks（GAN）は、高品質な画像生成だけでなく、解釈可能な潜在空間の操作を通じて実画像の編集を行うための強力なツールとして登場した。GANの最近の進歩には、EG3Dのような3Dを意識したモデルの開発が含まれ、1枚の画像から3Dジオメトリの再構成を可能にする効率的な3平面ベースのアーキテクチャが特徴である。しかしながら、この領域において、高品質な参照ベースの3D認識画像編集のための統合フレームワークを提供することには、ほとんど注意が払われていない。本研究では、高度な参照ベースの編集を実現するためのEG3Dの3平面空間の有効性を探求・実証することで、このギャップに対処し、我々の新しいパイプラインを通じて3D認識画像編集のユニークな視点を提示する。我々のアプローチは、3平面特徴のエンコード、空間的な分離と3平面領域における特徴の自動定位、そして望ましい画像編集のための融合学習を統合している。さらに、我々のフレームワークは、動物の顔の編集や漫画の肖像画の部分的なスタイル化にも有効であり、領域を超えた汎用性を示す。本手法は、定性的にも定量的にも、関連する3D認識潜在編集や2D参照ベースの編集手法と比較して有意な改善を示す。プロジェクトページ: https://three-bee.github.io/triplane_edit

要約(オリジナル)

Generative Adversarial Networks (GANs) have emerged as powerful tools not only for high-quality image generation but also for real image editing through manipulation of their interpretable latent spaces. Recent advancements in GANs include the development of 3D-aware models such as EG3D, characterized by efficient triplane-based architectures enabling the reconstruction of 3D geometry from single images. However, scant attention has been devoted to providing an integrated framework for high-quality reference-based 3D-aware image editing within this domain. This study addresses this gap by exploring and demonstrating the effectiveness of EG3D’s triplane space for achieving advanced reference-based edits, presenting a unique perspective on 3D-aware image editing through our novel pipeline. Our approach integrates the encoding of triplane features, spatial disentanglement and automatic localization of features in the triplane domain, and fusion learning for desired image editing. Moreover, our framework demonstrates versatility across domains, extending its effectiveness to animal face edits and partial stylization of cartoon portraits. The method shows significant improvements over relevant 3D-aware latent editing and 2D reference-based editing methods, both qualitatively and quantitatively. Project page: https://three-bee.github.io/triplane_edit

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL