D$^2$-DPM: Dual Denoising for Quantized Diffusion Probabilistic Models

要約

拡散モデルは画像生成において最先端のパフォーマンスを実現しました。
ただし、ノイズ除去プロセスに時間がかかり、計算量が多いスコア推定ネットワークにより、低レイテンシーやリソースに制約のあるシナリオではスケーラビリティが妨げられます。
ポストトレーニング量子化 (PTQ) は再トレーニングせずに拡散モデルを圧縮して加速しますが、必然的に追加の量子化ノイズが発生し、平均と分散の偏差が生じます。
この研究では、ノイズ推定ネットワークに対する量子化ノイズの悪影響を正確に軽減することを目的としたデュアルノイズ除去メカニズムである D2-DPM を提案します。
具体的には、まず、サンプリング方程式に対する量子化ノイズの影響を、平均偏差と分散偏差という 2 つの要素に分解します。
平均偏差はサンプリング方程式のドリフト係数を変更し、軌跡の傾向に影響を与えます。一方、分散偏差は拡散係数を拡大し、サンプリング軌跡の収束に影響を与えます。
したがって、提案された D2-DPM は、各タイム ステップで量子化ノイズをノイズ除去し、次に逆拡散反復を通じてノイズのあるサンプルをノイズ除去するように考案されています。
実験結果は、D2-DPM が優れた生成品質を達成し、3.99 倍の圧縮と 11.67 倍のビット操作加速を達成しながら、フル精度モデルよりも 1.42 低い FID を実現することを示しています。

要約(オリジナル)

Diffusion models have achieved cutting-edge performance in image generation. However, their lengthy denoising process and computationally intensive score estimation network impede their scalability in low-latency and resource-constrained scenarios. Post-training quantization (PTQ) compresses and accelerates diffusion models without retraining, but it inevitably introduces additional quantization noise, resulting in mean and variance deviations. In this work, we propose D2-DPM, a dual denoising mechanism aimed at precisely mitigating the adverse effects of quantization noise on the noise estimation network. Specifically, we first unravel the impact of quantization noise on the sampling equation into two components: the mean deviation and the variance deviation. The mean deviation alters the drift coefficient of the sampling equation, influencing the trajectory trend, while the variance deviation magnifies the diffusion coefficient, impacting the convergence of the sampling trajectory. The proposed D2-DPM is thus devised to denoise the quantization noise at each time step, and then denoise the noisy sample through the inverse diffusion iterations. Experimental results demonstrate that D2-DPM achieves superior generation quality, yielding a 1.42 lower FID than the full-precision model while achieving 3.99x compression and 11.67x bit-operation acceleration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google