Inversion-by-Inversion: Exemplar-based Sketch-to-Photo Synthesis via Stochastic Differential Equations without Training

要約

模範に基づくスケッチから写真への合成は、ユーザがスケッチに基づいてフォトリアリスティックな画像を生成することを可能にする。近年、拡散に基づく手法は画像生成タスクにおいて目覚ましい性能を達成しており、テキスト駆動型の生成やエネルギー関数による柔軟性の高い制御を可能にしている。しかし、スケッチ画像から色とテクスチャを持つフォトリアルな画像を生成することは、拡散モデルにとって依然として困難である。スケッチは一般的に数ストロークで構成され、ほとんどの領域は空白のままであるため、拡散に基づく手法ではフォトリアリスティックな画像を生成することが困難である。本研究では、模範に基づくスケッチから写真への合成のために、「反転による反転」と名付けられた2段階の手法を提案する。この手法には、形状強調反転とフルコントロール反転が含まれる。形状強調反転プロセスでは、形状エネルギー関数のガイダンスに従って、着色されていない写真が生成される。このステップは、生成された写真の形状を確実に制御するために不可欠です。完全制御反転プロセスでは、最終的に生成される写真の色とテクスチャを制御するために、アピアランスエネルギー関数を提案する。重要なことは、我々の反転-by-反転パイプラインはトレーニングフリーであり、色とテクスチャの制御のために異なるタイプの模範を受け入れることができることである。提案手法を評価するために広範な実験を行い、その結果はその有効性を実証しています。コードとプロジェクトはhttps://ximinng.github.io/inversion-by-inversion-project/。

要約(オリジナル)

Exemplar-based sketch-to-photo synthesis allows users to generate photo-realistic images based on sketches. Recently, diffusion-based methods have achieved impressive performance on image generation tasks, enabling highly-flexible control through text-driven generation or energy functions. However, generating photo-realistic images with color and texture from sketch images remains challenging for diffusion models. Sketches typically consist of only a few strokes, with most regions left blank, making it difficult for diffusion-based methods to produce photo-realistic images. In this work, we propose a two-stage method named “Inversion-by-Inversion’ for exemplar-based sketch-to-photo synthesis. This approach includes shape-enhancing inversion and full-control inversion. During the shape-enhancing inversion process, an uncolored photo is generated with the guidance of a shape-energy function. This step is essential to ensure control over the shape of the generated photo. In the full-control inversion process, we propose an appearance-energy function to control the color and texture of the final generated photo.Importantly, our Inversion-by-Inversion pipeline is training-free and can accept different types of exemplars for color and texture control. We conducted extensive experiments to evaluate our proposed method, and the results demonstrate its effectiveness. The code and project can be found at https://ximinng.github.io/inversion-by-inversion-project/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL