CondiQuant: Condition Number Based Low-Bit Quantization for Image Super-Resolution

要約

画像スーパー解像度（SR）の低ビットモデル量子化は、驚くべき圧縮と加速能力で有名な長年のタスクです。
ただし、完全な精度（FP）モデルを超低ビット幅（2〜4ビット）に圧縮する場合、精度の低下は避けられません。
実験的には、量子化の分解は、主にモデルの重みではなく活性化の量子化に起因することを観察します。
数値分析では、重みの条件数は、入力引数の小さな変化に対して出力値がどれだけ変化するかを測定でき、本質的に量子化誤差を反映しています。
したがって、画像の超解像度のための条件数ベースの低ビットトレーニング後の量子化であるコンジュカントを提案します。
具体的には、量子化誤差を重み指標の条件数として定式化します。
表現能力と量子化感度を切り離すことにより、条件数を最小限に抑え、出力を維持するために、効率的な近位勾配降下アルゴリズムを設計します。
包括的な実験により、コンディチョンは、計算オーバーヘッドなしで既存の最先端のトレーニング後の量子化方法を精度で上回り、モデルパラメーターの理論的に最適な圧縮比を獲得することを実証します。
コードとモデルはhttps://github.com/kai-liu001/condiquantでリリースされます。

要約(オリジナル)

Low-bit model quantization for image super-resolution (SR) is a longstanding task that is renowned for its surprising compression and acceleration ability. However, accuracy degradation is inevitable when compressing the full-precision (FP) model to ultra-low bit widths (2~4 bits). Experimentally, we observe that the degradation of quantization is mainly attributed to the quantization of activation instead of model weights. In numerical analysis, the condition number of weights could measure how much the output value can change for a small change in the input argument, inherently reflecting the quantization error. Therefore, we propose CondiQuant, a condition number based low-bit post-training quantization for image super-resolution. Specifically, we formulate the quantization error as the condition number of weight metrics. By decoupling the representation ability and the quantization sensitivity, we design an efficient proximal gradient descent algorithm to iteratively minimize the condition number and maintain the output still. With comprehensive experiments, we demonstrate that CondiQuant outperforms existing state-of-the-art post-training quantization methods in accuracy without computation overhead and gains the theoretically optimal compression ratio in model parameters. Our code and model are released at https://github.com/Kai-Liu001/CondiQuant.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google