QArtSR: Quantization via Reverse-Module and Timestep-Retraining in One-Step Diffusion based Image Super-Resolution

要約

ワンステップ拡散ベースの画像スーパー解像度（OSDSR）モデルは、最近ではますます優れたパフォーマンスを示しています。
ただし、それらの除去ステップは1に削減され、コストをさらに削減するために8ビットに量子化できますが、OSDSRが低ビットに量子化する可能性は依然として重要な可能性があります。
量子化されたOSDSRのより多くの可能性を調査するために、QARTSRという名前のOSDSRの効率的な方法、逆モジュール、およびタイムステップ再抑制を介した量子化を提案します。
まず、量子化されたモデルのパフォーマンスに対するタイムステップ値の影響を調査します。
次に、Timestep Retraining Quantization（TRQ）を提案し、量子化されたモデルを調整するためのモジュール量量化（RPQ）戦略を逆転させます。
一方、モジュールと画像の損失を採用して、すべての量子化されたモジュールを更新します。
元の重みを除く、量子化微調整コンポーネントのパラメーターのみを更新します。
すべてのモジュールが完全に微調整されるようにするために、モジュールごとの段階の後に拡張エンドツーエンドトレーニングを追加します。
4ビットおよび2ビットの量子化実験結果は、QARTSRが最近の先導的比較方法に対して優れた効果を得ることを示しています。
4ビットQARTSRのパフォーマンスは、全精度のパフォーマンスに近いものです。
コードはhttps://github.com/libozhu03/qartsrでリリースされます。

要約(オリジナル)

One-step diffusion-based image super-resolution (OSDSR) models are showing increasingly superior performance nowadays. However, although their denoising steps are reduced to one and they can be quantized to 8-bit to reduce the costs further, there is still significant potential for OSDSR to quantize to lower bits. To explore more possibilities of quantized OSDSR, we propose an efficient method, Quantization via reverse-module and timestep-retraining for OSDSR, named QArtSR. Firstly, we investigate the influence of timestep value on the performance of quantized models. Then, we propose Timestep Retraining Quantization (TRQ) and Reversed Per-module Quantization (RPQ) strategies to calibrate the quantized model. Meanwhile, we adopt the module and image losses to update all quantized modules. We only update the parameters in quantization finetuning components, excluding the original weights. To ensure that all modules are fully finetuned, we add extended end-to-end training after per-module stage. Our 4-bit and 2-bit quantization experimental results indicate that QArtSR obtains superior effects against the recent leading comparison methods. The performance of 4-bit QArtSR is close to the full-precision one. Our code will be released at https://github.com/libozhu03/QArtSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google