Scale-wise Distillation of Diffusion Models

要約

SWDは、拡散ベースの少ないステップジェネレーターの次のスケール予測アイデアを効果的に採用する拡散モデル（DMS）のスケールごとの蒸留フレームワーク（DMS）を提示します。
より詳細には、SWDは、拡散プロセスを暗黙的なスペクトル自己収集に関連付ける最近の洞察に触発されています。
DMSは、より低いデータ解像度で生成を開始し、パフォーマンスを失うことなく各除去ステップでサンプルを徐々にアップスケールできると仮定しますが、計算コストを大幅に削減します。
SWDは、このアイデアを、分布マッチングに基づいて既存の拡散蒸留方法に自然に統合します。
また、ターゲット分布とより細かい粒度の類似性を強制する新しいパッチ損失を導入することにより、分布マッチングアプローチファミリーを豊かにします。
最先端のテキストからイメージへの拡散モデルに適用されると、SWDは2つの完全な解像度の手順の推論時間に近づき、自動化されたメトリックと人間の好みの研究によって証明されるように、同じ計算予算の下で対応物を大幅に上回ります。

要約(オリジナル)

We present SwD, a scale-wise distillation framework for diffusion models (DMs), which effectively employs next-scale prediction ideas for diffusion-based few-step generators. In more detail, SwD is inspired by the recent insights relating diffusion processes to the implicit spectral autoregression. We suppose that DMs can initiate generation at lower data resolutions and gradually upscale the samples at each denoising step without loss in performance while significantly reducing computational costs. SwD naturally integrates this idea into existing diffusion distillation methods based on distribution matching. Also, we enrich the family of distribution matching approaches by introducing a novel patch loss enforcing finer-grained similarity to the target distribution. When applied to state-of-the-art text-to-image diffusion models, SwD approaches the inference times of two full resolution steps and significantly outperforms the counterparts under the same computation budget, as evidenced by automated metrics and human preference studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google