ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting

要約

拡散ベースの画像超解像度 (SR) 手法は、数百、さらには数千のサンプリング ステップが必要なため、推論速度が遅いという主な制限があります。
既存のアクセラレーション サンプリング技術では、必然的にある程度のパフォーマンスが犠牲になり、過度にぼやけた SR 結果が得られます。
この問題に対処するために、拡散ステップの数を大幅に削減し、それによって推論中の後加速の必要性とそれに伴うパフォーマンスの低下を排除する、SR の新規で効率的な拡散モデルを提案します。
私たちの方法は、高解像度画像と低解像度画像の間で残差をシフトすることによってそれらの間を転送するマルコフ連鎖を構築し、遷移効率を大幅に向上させます。
さらに、拡散プロセス中のシフト速度とノイズ強度を柔軟に制御するために、精緻なノイズスケジュールが開発されています。
広範な実験により、提案された方法は、わずか 15 のサンプリング ステップであっても、合成データセットと実世界のデータセットの両方で現在の最先端の方法よりも優れた、または少なくとも同等のパフォーマンスが得られることが実証されています。
コードとモデルは https://github.com/zsyOAOA/ResShift で入手できます。

要約(オリジナル)

Diffusion-based image super-resolution (SR) methods are mainly limited by the low inference speed due to the requirements of hundreds or even thousands of sampling steps. Existing acceleration sampling techniques inevitably sacrifice performance to some extent, leading to over-blurry SR results. To address this issue, we propose a novel and efficient diffusion model for SR that significantly reduces the number of diffusion steps, thereby eliminating the need for post-acceleration during inference and its associated performance deterioration. Our method constructs a Markov chain that transfers between the high-resolution image and the low-resolution image by shifting the residual between them, substantially improving the transition efficiency. Additionally, an elaborate noise schedule is developed to flexibly control the shifting speed and the noise strength during the diffusion process. Extensive experiments demonstrate that the proposed method obtains superior or at least comparable performance to current state-of-the-art methods on both synthetic and real-world datasets, even only with 15 sampling steps. Our code and model are available at https://github.com/zsyOAOA/ResShift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google