FEC: Three Finetuning-free Methods to Enhance Consistency for Real Image Editing

要約

テキスト条件付き画像編集は、計り知れない可能性を秘めた非常に便利なタスクです。
現在の実画像編集手法のほとんどは、まず画像の再構成を完了する必要があり、その後、その再構成に基づいてさまざまな方法で編集が行われます。
ほとんどの方法は再構築に DDIM Inversion を使用しますが、DDIM Inversion では再構築のパフォーマンスを保証できないことがよくあります。つまり、元の画像コンテンツを保存する結果を生成できません。
再構成の失敗の問題に対処するために、我々は FEC を提案します。FEC は 3 つのサンプリング方法で構成され、それぞれが異なる編集タイプと設定に合わせて設計されています。
私たちの 3 つの FEC 方法は、画像編集タスクにおける 2 つの重要な目標を達成します。1) 確実に再構成を成功させる、つまり、元の実画像のテクスチャと特徴を保存する生成結果を得るためにサンプリングする。
2) これらのサンプリング方法は多くの編集方法と組み合わせることができ、これらの編集方法のパフォーマンスを大幅に向上させてさまざまな編集タスクを実行できます。
さらに、当社のサンプリング手法はどれも、拡散モデルの微調整や大規模なデータセットでの時間のかかるトレーニングを必要としません。
したがって、時間のコストだけでなく、コンピュータのメモリと計算の使用も大幅に削減できます。

要約(オリジナル)

Text-conditional image editing is a very useful task that has recently emerged with immeasurable potential. Most current real image editing methods first need to complete the reconstruction of the image, and then editing is carried out by various methods based on the reconstruction. Most methods use DDIM Inversion for reconstruction, however, DDIM Inversion often fails to guarantee reconstruction performance, i.e., it fails to produce results that preserve the original image content. To address the problem of reconstruction failure, we propose FEC, which consists of three sampling methods, each designed for different editing types and settings. Our three methods of FEC achieve two important goals in image editing task: 1) ensuring successful reconstruction, i.e., sampling to get a generated result that preserves the texture and features of the original real image. 2) these sampling methods can be paired with many editing methods and greatly improve the performance of these editing methods to accomplish various editing tasks. In addition, none of our sampling methods require fine-tuning of the diffusion model or time-consuming training on large-scale datasets. Hence the cost of time as well as the use of computer memory and computation can be significantly reduced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google