PFDiff: Training-free Acceleration of Diffusion Models through the Gradient Guidance of Past and Future

要約

拡散確率モデル (DPM) は画像生成において顕著な可能性を示していますが、そのサンプリング効率は多数のノイズ除去ステップの必要性によって妨げられています。
既存のソリューションのほとんどは、高速 ODE ソルバーを提案することでサンプリング プロセスを高速化します。
ただし、関数評価 (NFE) の数が少ない場合、ODE ソルバーの避けられない離散化誤差が大幅に増大します。
この研究では、既存の高速 ODE ソルバーがより少ない NFE で動作できるようにする、新しいトレーニング不要の直交タイムステップ スキップ戦略である PFDiff を提案します。
具体的には、PFDiff は最初に過去のタイム ステップからの勾配置換を利用して「スプリングボード」を予測します。
その後、ネステロフの勢いに触発された先見更新とともにこの「スプリングボード」を使用して、現在の中間状態を迅速に更新します。
このアプローチは、1 次 ODE ソルバーに固有の離散化エラーを補正しながら、不要な NFE を効果的に削減します。
実験結果は、PFDiff がさまざまな事前トレーニング済み DPM にわたって柔軟な適用性を示し、特に条件付き DPM で優れており、以前の最先端のトレーニング不要の手法を上回っていることを示しています。
たとえば、ベースラインとして DDIM を使用すると、分類子ガイダンスを使用した ImageNet 64×64 上の DDIM では 138.81 FID と比較して、16.46 FID (4 NFE) を達成し、7.5 ガイダンス スケールの安定拡散では 13.06 FID (10 NFE) を達成しました。

要約(オリジナル)

Diffusion Probabilistic Models (DPMs) have shown remarkable potential in image generation, but their sampling efficiency is hindered by the need for numerous denoising steps. Most existing solutions accelerate the sampling process by proposing fast ODE solvers. However, the inevitable discretization errors of the ODE solvers are significantly magnified when the number of function evaluations (NFE) is fewer. In this work, we propose PFDiff, a novel training-free and orthogonal timestep-skipping strategy, which enables existing fast ODE solvers to operate with fewer NFE. Specifically, PFDiff initially utilizes gradient replacement from past time steps to predict a ‘springboard’. Subsequently, it employs this ‘springboard’ along with foresight updates inspired by Nesterov momentum to rapidly update current intermediate states. This approach effectively reduces unnecessary NFE while correcting for discretization errors inherent in first-order ODE solvers. Experimental results demonstrate that PFDiff exhibits flexible applicability across various pre-trained DPMs, particularly excelling in conditional DPMs and surpassing previous state-of-the-art training-free methods. For instance, using DDIM as a baseline, we achieved 16.46 FID (4 NFE) compared to 138.81 FID with DDIM on ImageNet 64×64 with classifier guidance, and 13.06 FID (10 NFE) on Stable Diffusion with 7.5 guidance scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google