One-Step Residual Shifting Diffusion for Image Super-Resolution via Distillation

要約

スーパー解像度（SR）の拡散モデルは、高品質の視覚的結果を生成しますが、高価な計算コストが必要です。
拡散ベースのSRモデルを加速するためのいくつかの方法の開発にもかかわらず、一部の（たとえば、SINSR）は現実的な知覚的な詳細を生成できませんが、他の（例えば、Osediff）は存在しない構造を幻覚させる可能性があります。
これらの問題を克服するために、トップの拡散ベースのSRモデルの1つであるResshiftの新しい蒸留方法であるRSDを提示します。
私たちの方法は、学生ネットワークのトレーニングに基づいて、新しい偽のResshiftモデルが訓練された画像を作成し、教師モデルと一致します。
RSDはシングルステップの回復を達成し、大きなマージンで教師を上回ります。
私たちの蒸留方法は、Resshiftの他の蒸留ベースの方法であるSinsr-を上回ることができることを示しています。
事前に訓練されたテキストからイメージまでのモデルに基づいたSRメソッドと比較して、RSDは競争力のある知覚品質を生成し、劣化した入力画像により良いアラインメントを備えた画像を提供し、より少ないパラメーターとGPUメモリを必要とします。
RealSR、RealSet65、DREALSR、IMAGENET、DIV2Kなど、さまざまな現実世界および合成データセットで実験結果を提供します。

要約(オリジナル)

Diffusion models for super-resolution (SR) produce high-quality visual results but require expensive computational costs. Despite the development of several methods to accelerate diffusion-based SR models, some (e.g., SinSR) fail to produce realistic perceptual details, while others (e.g., OSEDiff) may hallucinate non-existent structures. To overcome these issues, we present RSD, a new distillation method for ResShift, one of the top diffusion-based SR models. Our method is based on training the student network to produce such images that a new fake ResShift model trained on them will coincide with the teacher model. RSD achieves single-step restoration and outperforms the teacher by a large margin. We show that our distillation method can surpass the other distillation-based method for ResShift – SinSR – making it on par with state-of-the-art diffusion-based SR distillation methods. Compared to SR methods based on pre-trained text-to-image models, RSD produces competitive perceptual quality, provides images with better alignment to degraded input images, and requires fewer parameters and GPU memory. We provide experimental results on various real-world and synthetic datasets, including RealSR, RealSet65, DRealSR, ImageNet, and DIV2K.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google