Blind Image Restoration via Fast Diffusion Inversion

要約

事前トレーニングされた拡散モデルに基づく画像復元 (IR) 手法は、最先端のパフォーマンスを実証しています。
ただし、これらには 2 つの基本的な制限があります。1) 劣化演算子が完全に既知であると想定していることが多い、2) 拡散サンプリング プロセスを変更するため、復元された画像がデータ多様体上に存在しない可能性があります。
これらの問題に対処するために、我々は、劣化モデルのパラメータと復元された画像を共同で最適化するブラインド IR 手法である高速拡散反転 (BIRD) によるブラインド画像復元を提案します。
復元された画像がデータマニホールド上に確実に存在するようにするために、事前にトレーニングされた拡散モデルに対する新しいサンプリング手法を提案します。
私たちの方法の重要なアイデアは、最初のノイズがサンプリングされた後、逆サンプリングを変更しないこと、つまり、すべての中間潜在を変更しないことです。
これは、最終的には、IR タスクを入力ノイズの空間における最適化問題としてキャストすることと同じです。
さらに、完全にアンロールされた拡散モデルの反転に関連する計算コストを軽減するために、これらのモデルの固有の機能を利用して、大きなタイム ステップを使用して順拡散プロセスを先にスキップします。
私たちは、BIRD をいくつかの画像復元タスクで実験的に検証し、すべてのタスクで最先端のパフォーマンスを達成することを示します。
私たちのコードは https://github.com/hamdichihaoui/BIRD で入手できます。

要約(オリジナル)

Image Restoration (IR) methods based on a pre-trained diffusion model have demonstrated state-of-the-art performance. However, they have two fundamental limitations: 1) they often assume that the degradation operator is completely known and 2) they alter the diffusion sampling process, which may result in restored images that do not lie onto the data manifold. To address these issues, we propose Blind Image Restoration via fast Diffusion inversion (BIRD) a blind IR method that jointly optimizes for the degradation model parameters and the restored image. To ensure that the restored images lie onto the data manifold, we propose a novel sampling technique on a pre-trained diffusion model. A key idea in our method is not to modify the reverse sampling, i.e, not to alter all the intermediate latents, once an initial noise is sampled. This is ultimately equivalent to casting the IR task as an optimization problem in the space of the input noise. Moreover, to mitigate the computational cost associated with inverting a fully unrolled diffusion model, we leverage the inherent capability of these models to skip ahead in the forward diffusion process using large time steps. We experimentally validate BIRD on several image restoration tasks and show that it achieves state of the art performance on all of them. Our code is available at https://github.com/hamadichihaoui/BIRD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google