Solving Diffusion ODEs with Optimal Boundary Conditions for Better Image Super-Resolution

要約

拡散モデルは、強力な生成モデルの一種として、画像の超解像度 (SR) タスクで印象的な結果をもたらしました。
ただし、拡散モデルの逆プロセスで導入されたランダム性により、拡散ベースの SR モデルのパフォーマンスは、特にリサンプリング ステップが少ないサンプラーの場合、サンプリングのたびに変動します。
この拡散モデルの固有のランダム性により非効率性と不安定性が生じ、ユーザーにとって SR 結果の品質を保証することが困難になります。
しかし、私たちの研究はこのランダム性を機会として捉えています。これを完全に分析して活用することで、一連の拡散ベースの SR 手法に利益をもたらす可能性を秘めた効果的なプラグアンドプレイ サンプリング手法の構築につながります。
より詳細には、最適な境界条件 (BC) を使用して拡散常微分方程式 (拡散 ODE) を解き、BC の選択とそれに対応する BC の間の特性を分析することにより、事前学習された拡散ベースの SR モデルから高品質の SR 画像を安定的にサンプリングすることを提案します。
SRの結果です。
私たちの分析は、空間全体の効率的な探索を通じてほぼ最適な BC を取得するルートを示しています。
より少ないステップで提案された方法によってサンプリングされた SR 結果の品質は、同じ事前学習された拡散ベースの SR モデルからのランダム性を伴う現在の方法によってサンプリングされた結果の品質を上回っています。これは、私たちのサンプリング方法が現在の拡散ベースの SR を「ブースト」することを意味します。
追加のトレーニングなしでモデルを作成できます。

要約(オリジナル)

Diffusion models, as a kind of powerful generative model, have given impressive results on image super-resolution (SR) tasks. However, due to the randomness introduced in the reverse process of diffusion models, the performances of diffusion-based SR models are fluctuating at every time of sampling, especially for samplers with few resampled steps. This inherent randomness of diffusion models results in ineffectiveness and instability, making it challenging for users to guarantee the quality of SR results. However, our work takes this randomness as an opportunity: fully analyzing and leveraging it leads to the construction of an effective plug-and-play sampling method that owns the potential to benefit a series of diffusion-based SR methods. More in detail, we propose to steadily sample high-quality SR images from pretrained diffusion-based SR models by solving diffusion ordinary differential equations (diffusion ODEs) with optimal boundary conditions (BCs) and analyze the characteristics between the choices of BCs and their corresponding SR results. Our analysis shows the route to obtain an approximately optimal BC via an efficient exploration in the whole space. The quality of SR results sampled by the proposed method with fewer steps outperforms the quality of results sampled by current methods with randomness from the same pretrained diffusion-based SR model, which means that our sampling method “boosts” current diffusion-based SR models without any additional training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google