Efficient Distillation of Classifier-Free Guidance using Adapters

要約

条件付き拡散モデルには、分類器のないガイダンス（CFG）が不可欠ですが、推論ステップごとに神経関数評価（NFE）の数を2倍にします。
この非効率性を緩和するために、単一のフォワードパスでCFGをシミュレートする新しいアプローチであるAdapter Guidance Distillation（AGD）を紹介します。
AGDは軽量アダプターをレバレッジしてCFGを近似し、サンプルの品質を維持または改善しながら、サンプリング速度を効果的に2倍にします。
モデル全体を調整する以前のガイダンス蒸留方法とは異なり、AGDはベースモデルを凍結しておき、蒸留フェーズのリソース要件を大幅に削減するために最小限の追加パラメーター（$ \ sim $ 2％）のみを訓練します。
さらに、このアプローチは元のモデルの重みを保持し、アダプターを同じベースモデルから派生した他のチェックポイントとシームレスに組み合わせることができます。
また、標準的な拡散軌跡の代わりにCFG誘導軌跡に関するトレーニングにより、既存のガイダンス蒸留方法のトレーニングと推論の間の重要な不一致に対処します。
広範な実験を通じて、AGDは、NFEの半分しかない複数のアーキテクチャでCFGに匹敵するまたは優れたFIDを達成することを示しています。
特に、私たちの方法により、24 GBのVRAMを備えた単一の消費者GPUに大きなモデル（$ \ sim $ 260億ドルのパラメーター）が蒸留され、複数のハイエンドGPUを必要とする以前のアプローチよりもアクセスしやすくなります。
メソッドの実装を公開します。

要約(オリジナル)

While classifier-free guidance (CFG) is essential for conditional diffusion models, it doubles the number of neural function evaluations (NFEs) per inference step. To mitigate this inefficiency, we introduce adapter guidance distillation (AGD), a novel approach that simulates CFG in a single forward pass. AGD leverages lightweight adapters to approximate CFG, effectively doubling the sampling speed while maintaining or even improving sample quality. Unlike prior guidance distillation methods that tune the entire model, AGD keeps the base model frozen and only trains minimal additional parameters ($\sim$2%) to significantly reduce the resource requirement of the distillation phase. Additionally, this approach preserves the original model weights and enables the adapters to be seamlessly combined with other checkpoints derived from the same base model. We also address a key mismatch between training and inference in existing guidance distillation methods by training on CFG-guided trajectories instead of standard diffusion trajectories. Through extensive experiments, we show that AGD achieves comparable or superior FID to CFG across multiple architectures with only half the NFEs. Notably, our method enables the distillation of large models ($\sim$2.6B parameters) on a single consumer GPU with 24 GB of VRAM, making it more accessible than previous approaches that require multiple high-end GPUs. We will publicly release the implementation of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google