Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors

要約

拡散ベースの画像超解像度 (SR) 手法は、事前にトレーニングされた大規模なテキストから画像への拡散モデルを事前学習として活用することで、目覚ましい成功を収めています。
ただし、これらの方法には依然として 2 つの課題があります。1 つは満足のいく結果を達成するために数十のサンプリング ステップが必要であり、実際のシナリオでは効率が制限されること、もう 1 つは SR 問題を解決する上で重要な補助情報である劣化モデルが無視されることです。
この研究では、拡散ベースの SR 手法の効率の問題に大きく対処する、新しいワンステップ SR モデルを導入しました。
既存の微調整戦略とは異なり、SR 専用に劣化ガイド付き低ランク適応 (LoRA) モジュールを設計しました。これは、低解像度画像からの事前推定された劣化情報に基づいてモデル パラメーターを修正します。
このモジュールは、強力なデータ依存または劣化依存 SR モデルを容易にするだけでなく、事前トレーニングされた拡散モデルの事前生成を可能な限り保存します。
さらに、オンラインのネガティブ サンプル生成戦略を導入することで、新しいトレーニング パイプラインを調整します。
推論中に分類子を使用しないガイダンス戦略と組み合わせることで、超解像結果の知覚品質が大幅に向上します。
広範な実験により、最近の最先端の方法と比較して、提案されたモデルの優れた効率と有効性が実証されました。

要約(オリジナル)

Diffusion-based image super-resolution (SR) methods have achieved remarkable success by leveraging large pre-trained text-to-image diffusion models as priors. However, these methods still face two challenges: the requirement for dozens of sampling steps to achieve satisfactory results, which limits efficiency in real scenarios, and the neglect of degradation models, which are critical auxiliary information in solving the SR problem. In this work, we introduced a novel one-step SR model, which significantly addresses the efficiency issue of diffusion-based SR methods. Unlike existing fine-tuning strategies, we designed a degradation-guided Low-Rank Adaptation (LoRA) module specifically for SR, which corrects the model parameters based on the pre-estimated degradation information from low-resolution images. This module not only facilitates a powerful data-dependent or degradation-dependent SR model but also preserves the generative prior of the pre-trained diffusion model as much as possible. Furthermore, we tailor a novel training pipeline by introducing an online negative sample generation strategy. Combined with the classifier-free guidance strategy during inference, it largely improves the perceptual quality of the super-resolution results. Extensive experiments have demonstrated the superior efficiency and effectiveness of the proposed model compared to recent state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google