Personalized Image Generation with Deep Generative Models: A Decade Survey

要約

生成モデルの最近の進歩により、パーソナライズされたコンテンツ作成の開発が大幅に促進されました。
ユーザー固有の概念を備えた小さな画像のセットを考えると、パーソナライズされた画像生成により、指定された概念を組み込んで提供されたテキストの説明に付着する画像を作成できます。
コンテンツの作成における幅広いアプリケーションのため、近年この分野に多大な努力が払われています。
それにもかかわらず、パーソナライズに使用されるテクノロジーは、個別の相互に関連するコンポーネントとともに、生成モデルの開発とともに進化してきました。
この調査では、従来のGAN、現代のテキストからイメージまでの拡散モデル、新たなマルチモデル自己回帰モデルなど、さまざまな生成モデルにわたって一般化されたパーソナライズされた画像生成の包括的なレビューを提示します。
最初に、3つの重要なコンポーネント、つまり反転スペース、反転方法、パーソナライズスキームを含む、さまざまな生成モデルにわたってパーソナライズプロセスを標準化する統一されたフレームワークを定義します。
この統一されたフレームワークは、さまざまな生成アーキテクチャにわたってパーソナライズ手法を分析および比較するための構造化されたアプローチを提供します。
この統一されたフレームワークに基づいて、各生成モデル内のパーソナライズ技術の詳細な分析を提供し、独自の貢献と革新を強調します。
比較分析を通じて、この調査では、パーソナライズされた画像生成の現在の状況を解明し、既存の方法の共通性と際立った特徴を特定します。
最後に、この分野でのオープンな課題について説明し、将来の研究の潜在的な方向性を提案します。
https://github.com/csyxwei/awesome-personalized-image-generationで関連する作品を追跡し続けています。

要約(オリジナル)

Recent advancements in generative models have significantly facilitated the development of personalized content creation. Given a small set of images with user-specific concept, personalized image generation allows to create images that incorporate the specified concept and adhere to provided text descriptions. Due to its wide applications in content creation, significant effort has been devoted to this field in recent years. Nonetheless, the technologies used for personalization have evolved alongside the development of generative models, with their distinct and interrelated components. In this survey, we present a comprehensive review of generalized personalized image generation across various generative models, including traditional GANs, contemporary text-to-image diffusion models, and emerging multi-model autoregressive models. We first define a unified framework that standardizes the personalization process across different generative models, encompassing three key components, i.e., inversion spaces, inversion methods, and personalization schemes. This unified framework offers a structured approach to dissecting and comparing personalization techniques across different generative architectures. Building upon this unified framework, we further provide an in-depth analysis of personalization techniques within each generative model, highlighting their unique contributions and innovations. Through comparative analysis, this survey elucidates the current landscape of personalized image generation, identifying commonalities and distinguishing features among existing methods. Finally, we discuss the open challenges in the field and propose potential directions for future research. We keep tracing related works at https://github.com/csyxwei/Awesome-Personalized-Image-Generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google