Efficient Diffusion Model for Image Restoration by Residual Shifting

要約

拡散ベースの画像復元 (IR) 方法は目覚ましい成功を収めていますが、数百、さらには数千のサンプリング ステップを実行する必要があるため、推論速度が遅いという制約がまだあります。
既存の加速サンプリング技術は、プロセスの高速化を目指していますが、必然的にある程度のパフォーマンスが犠牲になり、復元結果が過度にぼやけてしまいます。
この問題に対処するために、この研究では、必要な拡散ステップ数を大幅に削減する、IR 用の新規で効率的な拡散モデルを提案します。
私たちの方法では、推論中のポストアクセラレーションの必要性を回避し、それによって関連するパフォーマンスの低下を回避します。
具体的には、私たちの提案方法は、残差をシフトすることによって高品質画像と低品質画像の間の遷移を容易にするマルコフ連鎖を確立し、遷移効率を大幅に向上させます。
慎重に策定されたノイズスケジュールは、拡散プロセス中のシフト速度とノイズ強度を柔軟に制御するために考案されています。
広範な実験評価により、提案された方法が、画像の超解像度、画像の修復、ブラインドフェイスの復元という 3 つの古典的な IR タスクにおいて、現在の最先端の方法よりも優れた、または同等のパフォーマンスを達成することが実証されています。
4 つのサンプリング ステップのみ}}。
私たちのコードとモデルは \url{https://github.com/zsyOAOA/ResShift} で公開されています。

要約(オリジナル)

While diffusion-based image restoration (IR) methods have achieved remarkable success, they are still limited by the low inference speed attributed to the necessity of executing hundreds or even thousands of sampling steps. Existing acceleration sampling techniques, though seeking to expedite the process, inevitably sacrifice performance to some extent, resulting in over-blurry restored outcomes. To address this issue, this study proposes a novel and efficient diffusion model for IR that significantly reduces the required number of diffusion steps. Our method avoids the need for post-acceleration during inference, thereby avoiding the associated performance deterioration. Specifically, our proposed method establishes a Markov chain that facilitates the transitions between the high-quality and low-quality images by shifting their residuals, substantially improving the transition efficiency. A carefully formulated noise schedule is devised to flexibly control the shifting speed and the noise strength during the diffusion process. Extensive experimental evaluations demonstrate that the proposed method achieves superior or comparable performance to current state-of-the-art methods on three classical IR tasks, namely image super-resolution, image inpainting, and blind face restoration, \textit{\textbf{even only with four sampling steps}}. Our code and model are publicly available at \url{https://github.com/zsyOAOA/ResShift}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google