Optimal Stepsize for Diffusion Sampling

要約

拡散モデルは顕著な生成品質を達成しますが、最適ではないステップ離散化により、計算集約的なサンプリングに苦しんでいます。
既存の作業は、方向性の除去の最適化に焦点を当てていますが、Stepsizeスケジュールの原則的な設計に対処します。
このペーパーでは、参照軌跡から知識を蒸留することにより理論的に最適なスケジュールを抽出する動的なプログラミングフレームワークである最適なステップサイズ蒸留を提案します。
再帰的エラーの最小化として最適化をステップ化することにより、私たちの方法は、最適な下部構造の搾取を通じてグローバルな離散化境界を保証します。
重要なことに、蒸留スケジュールは、アーキテクチャ、ODEソルバー、およびノイズスケジュール全体で強い堅牢性を示しています。
実験では、テキストからイメージへのテキストからイメージの生成が10倍加速し、99.4％の性能を維持していることが示されています。
私たちのコードは、https：//github.com/bebebe666/optimalstepsで入手できます。

要約(オリジナル)

Diffusion models achieve remarkable generation quality but suffer from computational intensive sampling due to suboptimal step discretization. While existing works focus on optimizing denoising directions, we address the principled design of stepsize schedules. This paper proposes Optimal Stepsize Distillation, a dynamic programming framework that extracts theoretically optimal schedules by distilling knowledge from reference trajectories. By reformulating stepsize optimization as recursive error minimization, our method guarantees global discretization bounds through optimal substructure exploitation. Crucially, the distilled schedules demonstrate strong robustness across architectures, ODE solvers, and noise schedules. Experiments show 10x accelerated text-to-image generation while preserving 99.4% performance on GenEval. Our code is available at https://github.com/bebebe666/OptimalSteps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google