Exploiting Diffusion Prior for Real-World Image Super-Resolution

要約

ブラインド超解像度 (SR) 用に、事前トレーニングされたテキストから画像への拡散モデルにカプセル化された事前知識を活用する新しいアプローチを紹介します。
具体的には、時間認識エンコーダを採用することで、事前トレーニングされた合成モデルを変更せずに有望な復元結果を達成できるため、事前生成を維持し、トレーニング コストを最小限に抑えることができます。
拡散モデルの固有の確率論によって引き起こされる忠実度の損失を修正するために、ユーザーが推論プロセス中にスカラー値を調整するだけで品質と忠実度のバランスを取れるようにする制御可能な特徴ラッピング モジュールを採用しています。
さらに、事前トレーニングされた拡散モデルの固定サイズの制約を克服するための漸進的な集約サンプリング戦略を開発し、あらゆるサイズの解像度への適応を可能にします。
合成ベンチマークと現実世界のベンチマークの両方を使用した私たちの手法の包括的な評価により、現在の最先端のアプローチよりも優れていることが実証されています。
コードとモデルは https://github.com/IceClear/StableSR で入手できます。

要約(オリジナル)

We present a novel approach to leverage prior knowledge encapsulated in pre-trained text-to-image diffusion models for blind super-resolution (SR). Specifically, by employing our time-aware encoder, we can achieve promising restoration results without altering the pre-trained synthesis model, thereby preserving the generative prior and minimizing training cost. To remedy the loss of fidelity caused by the inherent stochasticity of diffusion models, we employ a controllable feature wrapping module that allows users to balance quality and fidelity by simply adjusting a scalar value during the inference process. Moreover, we develop a progressive aggregation sampling strategy to overcome the fixed-size constraints of pre-trained diffusion models, enabling adaptation to resolutions of any size. A comprehensive evaluation of our method using both synthetic and real-world benchmarks demonstrates its superiority over current state-of-the-art approaches. Code and models are available at https://github.com/IceClear/StableSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google