Restoration by Generation with Constrained Priors

要約

ノイズ除去拡散モデルの固有の生成能力により、入力画像によく似た生成空間内で最適な高品質画像を見つけることが目的の画像復元タスクに適しています。
復元する入力画像に単純にノイズを追加してノイズを除去することで、事前学習済みの拡散モデルを画像復元に適応させる方法を提案します。
私たちの方法は、生成モデルの空間を制約する必要があるという観察に基づいています。
この制約は、入力画像の特性を捕捉する一連のアンカー画像を使用して生成モデルを微調整することによって課されます。
スペースが限られているため、画像の復元を行うための生成に使用されたサンプリング戦略を活用できます。
私たちは以前の方法と比較して評価し、複数の実世界の復元データセットで同一性と画質の維持において優れたパフォーマンスを示しました。
また、生成空間を制限するためのアンカー画像として個人のアルバムを使用する、個人化された修復に関する重要かつ実用的な応用例も示します。
このアプローチにより、以前の研究では不可能だった、高周波のディテールを正確に保存する結果を生み出すことができます。
プロジェクトの Web ページ: https://gen2res.github.io。

要約(オリジナル)

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google