Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models

要約

拡散モデルは、反復ノイズ推定を通じて画像生成タスクで大きな成功を収めました。
ただし、重度のノイズ除去プロセスと複雑なニューラル ネットワークにより、現実世界のシナリオでは低遅延アプリケーションが妨げられます。
量子化はモデルの複雑さを効果的に軽減でき、微調整を必要としないトレーニング後量子化 (PTQ) はノイズ除去プロセスの高速化に非常に有望です。
残念なことに、さまざまなノイズ除去ステップでのアクティベーションの非常に動的な分布により、拡散モデルの既存の PTQ 手法は、キャリブレーション サンプル レベルと再構築出力レベルの両方で分布不一致の問題に悩まされ、特に低域でのパフォーマンスが満足のいくものとは程遠いことがわかりました。
-ビットケース。
本稿では、上記の問題に対処するために、拡散モデルのトレーニング後の量子化のための強化された分布調整 (EDA-DM) を提案します。
具体的には、キャリブレーション サンプル レベルで、潜在空間の密度と多様性に基づいてキャリブレーション サンプルを選択し、サンプル全体との分布の調整を容易にします。
そして再構成出力レベルでは、量子化モデルと完全精度モデルの出力を異なるネットワーク粒度で調整できる細粒度ブロック再構成を提案します。
広範な実験により、EDA-DM が無条件生成シナリオと条件付き生成シナリオの両方で既存のポストトレーニング量子化フレームワークよりも優れたパフォーマンスを発揮することが実証されました。
低ビット精度では、私たちの方法で量子化されたモデルは、ほとんどのデータセットで完全精度モデルよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Diffusion models have achieved great success in image generation tasks through iterative noise estimation. However, the heavy denoising process and complex neural networks hinder their low-latency applications in real-world scenarios. Quantization can effectively reduce model complexity, and post-training quantization (PTQ), which does not require fine-tuning, is highly promising in accelerating the denoising process. Unfortunately, we find that due to the highly dynamic distribution of activations in different denoising steps, existing PTQ methods for diffusion models suffer from distribution mismatch issues at both calibration sample level and reconstruction output level, which makes the performance far from satisfactory, especially in low-bit cases. In this paper, we propose Enhanced Distribution Alignment for Post-Training Quantization of Diffusion Models (EDA-DM) to address the above issues. Specifically, at the calibration sample level, we select calibration samples based on the density and diversity in the latent space, thus facilitating the alignment of their distribution with the overall samples; and at the reconstruction output level, we propose Fine-grained Block Reconstruction, which can align the outputs of the quantized model and the full-precision model at different network granularity. Extensive experiments demonstrate that EDA-DM outperforms the existing post-training quantization frameworks in both unconditional and conditional generation scenarios. At low-bit precision, the quantized models with our method even outperform the full-precision models on most datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google