Image Inversion: A Survey from GANs to Diffusion and Beyond

要約

画像の反転は、生成モデルの基本的なタスクであり、編集、復元、スタイルの転送などのダウンストリームアプリケーションを有効にするために、画像を潜在的な表現に戻すことを目指しています。
このホワイトペーパーでは、画像反転技術の最新の進歩の包括的なレビューを提供し、2つの主要なパラダイムに焦点を当てています。生成敵対的ネットワーク（GAN）反転と拡散モデルの反転です。
これらの手法の最適化方法に基づいて分類します。
GANの反転については、既存の方法をエンコーダーベースのアプローチ、潜在的な最適化アプローチ、およびハイブリッドアプローチに体系的に分類し、理論的基盤、技術革新、実用的なトレードオフを分析します。
拡散モデルの反転については、トレーニングのない戦略、微調整方法、および追加の訓練可能なモジュールの設計を探り、独自の利点と制限を強調します。
さらに、画像タスクを超えたいくつかの一般的なダウンストリームアプリケーションと新たなアプリケーションについて説明し、現在の課題と将来の研究の方向性を特定します。
最新の開発を統合することにより、このペーパーは、研究者と実務家に貴重な参照リソースを提供し、画像の反転の分野でのさらなる進歩を促進することを目的としています。
https://github.com/ryanchenyn/imageinversionの最新作品を追跡します

要約(オリジナル)

Image inversion is a fundamental task in generative models, aiming to map images back to their latent representations to enable downstream applications such as editing, restoration, and style transfer. This paper provides a comprehensive review of the latest advancements in image inversion techniques, focusing on two main paradigms: Generative Adversarial Network (GAN) inversion and diffusion model inversion. We categorize these techniques based on their optimization methods. For GAN inversion, we systematically classify existing methods into encoder-based approaches, latent optimization approaches, and hybrid approaches, analyzing their theoretical foundations, technical innovations, and practical trade-offs. For diffusion model inversion, we explore training-free strategies, fine-tuning methods, and the design of additional trainable modules, highlighting their unique advantages and limitations. Additionally, we discuss several popular downstream applications and emerging applications beyond image tasks, identifying current challenges and future research directions. By synthesizing the latest developments, this paper aims to provide researchers and practitioners with a valuable reference resource, promoting further advancements in the field of image inversion. We keep track of the latest works at https://github.com/RyanChenYN/ImageInversion

arxiv情報

提供元, 利用サービス

arxiv.jp, Google