Negative-prompt Inversion: Fast Image Inversion for Editing with Text-guided Diffusion Models

要約

拡散モデルを使用した画像編集では、スタイルを変更しながら、元の画像の再構成品質を維持することが重要です。
既存の方法は最適化によって再構築の品質を確保していますが、最適化に多大な時間がかかるという欠点があります。
本稿では、最適化を行わずに順伝播のみで等価な再構築を実現し、編集処理を大幅に高速化できるネガティブプロンプト反転を提案します。
私たちは、この方法の再構築品質が既存の方法と同等であり、512 ピクセルの解像度で、約 5 秒以内に 50 のサンプリング ステップで反転できることを実験的に示しています。これは、ヌルテキスト反転よりも 30 倍以上高速です。
提案された方法による計算時間の短縮により、拡散モデルでより多くのサンプリング ステップを使用できるようになり、計算時間を適度に増加させながら再構成の品質を向上させることができます。

要約(オリジナル)

In image editing employing diffusion models, it is crucial to preserve the reconstruction quality of the original image while changing its style. Although existing methods ensure reconstruction quality through optimization, a drawback of these is the significant amount of time required for optimization. In this paper, we propose negative-prompt inversion, a method capable of achieving equivalent reconstruction solely through forward propagation without optimization, thereby enabling much faster editing processes. We experimentally demonstrate that the reconstruction quality of our method is comparable to that of existing methods, allowing for inversion at a resolution of 512 pixels and with 50 sampling steps within approximately 5 seconds, which is more than 30 times faster than null-text inversion. Reduction of the computation time by the proposed method further allows us to use a larger number of sampling steps in diffusion models to improve the reconstruction quality with a moderate increase in computation time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google