ADIR: Adaptive Diffusion for Image Reconstruction

要約

近年、ノイズ除去拡散モデルは、優れた画像生成性能を発揮している。これらのモデルによって捉えられた自然画像の情報は、その劣化した観測値からきれいな画像を復元することを課題とする多くの画像再構成アプリケーションに有用である。本研究では、観測値との一致を保ちつつ、拡散モデルによって学習された事前分布を利用する条件付きサンプリング方式を提案する。そして、この方式を、事前に学習された拡散ノイズ除去ネットワークを入力に適応させるための新しいアプローチと組み合わせる。前者は劣化した画像のみを用い、後者は我々が提唱する、既製の視覚言語モデルを用いて多様なデータセットから取得した劣化画像の「最近傍」画像を用いて適応するものである。本手法を評価するために、一般に公開されている2つの最新拡散モデル、安定拡散とガイド拡散を用いてテストを行った。その結果、我々の提案する「画像再構成のための適応的拡散」（ADIR）アプローチが、超解像、デブラーリング、テキストベースの編集タスクにおいて、有意な改善を達成することが示された。

要約(オリジナル)

In recent years, denoising diffusion models have demonstrated outstanding image generation performance. The information on natural images captured by these models is useful for many image reconstruction applications, where the task is to restore a clean image from its degraded observations. In this work, we propose a conditional sampling scheme that exploits the prior learned by diffusion models while retaining agreement with the observations. We then combine it with a novel approach for adapting pretrained diffusion denoising networks to their input. We examine two adaption strategies: the first uses only the degraded image, while the second, which we advocate, is performed using images that are “nearest neighbors” of the degraded image, retrieved from a diverse dataset using an off-the-shelf visual-language model. To evaluate our method, we test it on two state-of-the-art publicly available diffusion models, Stable Diffusion and Guided Diffusion. We show that our proposed `adaptive diffusion for image reconstruction’ (ADIR) approach achieves a significant improvement in the super-resolution, deblurring, and text-based editing tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL