Reducing Spatial Fitting Error in Distillation of Denoising Diffusion Models

要約

ノイズ除去拡散モデルは、画像生成において顕著な能力を発揮しました。
ただし、高品質のサンプルを生成するには、多数の反復が必要です。
拡散モデルの知識蒸留は、サンプリング プロセスを短縮してこの制限に対処する効果的な方法ですが、生成品質の低下を引き起こします。
バイアス分散分解による分析と実験的観察に基づいて、教師モデルと生徒モデルの両方のトレーニングで発生する空間フィッティング エラーが劣化の原因であると考えられます。
したがって、$\textbf{S}$patial $\textbf{F}$ittting-$\textbf{E}$rror $\textbf{R}$eduction $\textbf{D}$istillation モデルを提案します ($\textbf
{SFERD}$)。
SFERD は、教師モデルからの注意ガイダンスと設計されたセマンティック勾配予測子を利用して、生徒のフィッティング エラーを削減します。
経験的に、私たちが提案したモデルは、いくつかの関数評価で高品質のサンプル生成を容易にします。
わずか 1 ステップで、CIFAR-10 では 5.31、ImageNet 64$\times$64 では 9.39 の FID を達成し、既存の拡散手法を上回ります。
私たちの研究は、モデルの固有のノイズ除去能力を強調することにより、拡散蒸留に関する新しい視点を提供します。
プロジェクトのリンク: \url{https://github.com/Sainzerjj/SFERD}。

要約(オリジナル)

Denoising Diffusion models have exhibited remarkable capabilities in image generation. However, generating high-quality samples requires a large number of iterations. Knowledge distillation for diffusion models is an effective method to address this limitation with a shortened sampling process but causes degraded generative quality. Based on our analysis with bias-variance decomposition and experimental observations, we attribute the degradation to the spatial fitting error occurring in the training of both the teacher and student model. Accordingly, we propose $\textbf{S}$patial $\textbf{F}$itting-$\textbf{E}$rror $\textbf{R}$eduction $\textbf{D}$istillation model ($\textbf{SFERD}$). SFERD utilizes attention guidance from the teacher model and a designed semantic gradient predictor to reduce the student’s fitting error. Empirically, our proposed model facilitates high-quality sample generation in a few function evaluations. We achieve an FID of 5.31 on CIFAR-10 and 9.39 on ImageNet 64$\times$64 with only one step, outperforming existing diffusion methods. Our study provides a new perspective on diffusion distillation by highlighting the intrinsic denoising ability of models. Project link: \url{https://github.com/Sainzerjj/SFERD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google