要約
テキストガイド付き拡散モデルの最近の進歩により、強力な画像操作機能が解放されました。
ただし、これらの方法を実際の画像に適用するには、画像を事前学習済みの拡散モデルの領域に反転する必要があります。
忠実な反転を達成することは、特に少数のノイズ除去ステップで画像を生成するように訓練された最近のモデルにとって依然として課題です。
この研究では、品質と操作の比率が高い逆変換手法を導入し、操作数を増やすことなく再構成精度を向上させます。
拡散サンプリング プロセスの逆転に基づいて、私たちの方法は各反転サンプリング ステップで反復的なリノイズ メカニズムを採用しています。
このメカニズムは、事前学習された拡散モデルを繰り返し適用し、これらの予測を平均することにより、前方拡散軌道に沿った予測点の近似を改良します。
最近の加速拡散モデルを含むさまざまなサンプリング アルゴリズムとモデルを使用して、ReNoise 手法のパフォーマンスを評価します。
総合的な評価と比較により、精度とスピードの両面からその有効性を示します。
さらに、実際の画像上でテキスト駆動型の画像編集を実証することで、私たちの方法が編集可能性を維持していることを確認します。
要約(オリジナル)
Recent advancements in text-guided diffusion models have unlocked powerful image manipulation capabilities. However, applying these methods to real images necessitates the inversion of the images into the domain of the pretrained diffusion model. Achieving faithful inversion remains a challenge, particularly for more recent models trained to generate images with a small number of denoising steps. In this work, we introduce an inversion method with a high quality-to-operation ratio, enhancing reconstruction accuracy without increasing the number of operations. Building on reversing the diffusion sampling process, our method employs an iterative renoising mechanism at each inversion sampling step. This mechanism refines the approximation of a predicted point along the forward diffusion trajectory, by iteratively applying the pretrained diffusion model, and averaging these predictions. We evaluate the performance of our ReNoise technique using various sampling algorithms and models, including recent accelerated diffusion models. Through comprehensive evaluations and comparisons, we show its effectiveness in terms of both accuracy and speed. Furthermore, we confirm that our method preserves editability by demonstrating text-driven image editing on real images.
arxiv情報
| 著者 | Daniel Garibi,Or Patashnik,Andrey Voynov,Hadar Averbuch-Elor,Daniel Cohen-Or |
| 発行日 | 2024-03-21 17:52:08+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google