A Closer Look at Time Steps is Worthy of Triple Speed-Up for Diffusion Model Training

要約

拡散モデルのトレーニングは常に計算集約型のタスクです。
この論文では、タイム ステップの詳細な観察に基づいた、拡散モデル トレーニングの新しい高速化方法を紹介します。
私たちの主な発見は次のとおりです。 i) 時間ステップは、プロセス増分に基づいて加速、減速、収束領域に経験的に分割できます。
ii) これらの時間ステップは不均衡であり、多くは収束領域に集中しています。
iii) 集中的なステップでは、普及トレーニングに限定的な利点しか提供されません。
これに対処するために、収束領域からのステップの頻度を減らし、他の領域からのステップのサンプリング確率を高める非対称サンプリング戦略を設計します。
さらに、急速に変化するプロセス増分の時間ステップの重要性を強調するための重み付け戦略を提案します。
SpeeD は、プラグ アンド プレイでアーキテクチャに依存しないアプローチとして、さまざまな拡散アーキテクチャ、データセット、タスクにわたって一貫して 3 倍の高速化を達成します。
特に、そのシンプルな設計により、私たちのアプローチは最小限のオーバーヘッドで拡散モデルのトレーニングのコストを大幅に削減します。
私たちの研究により、より多くの研究者が低コストで拡散モデルをトレーニングできるようになります。

要約(オリジナル)

Training diffusion models is always a computation-intensive task. In this paper, we introduce a novel speed-up method for diffusion model training, called, which is based on a closer look at time steps. Our key findings are: i) Time steps can be empirically divided into acceleration, deceleration, and convergence areas based on the process increment. ii) These time steps are imbalanced, with many concentrated in the convergence area. iii) The concentrated steps provide limited benefits for diffusion training. To address this, we design an asymmetric sampling strategy that reduces the frequency of steps from the convergence area while increasing the sampling probability for steps from other areas. Additionally, we propose a weighting strategy to emphasize the importance of time steps with rapid-change process increments. As a plug-and-play and architecture-agnostic approach, SpeeD consistently achieves 3-times acceleration across various diffusion architectures, datasets, and tasks. Notably, due to its simple design, our approach significantly reduces the cost of diffusion model training with minimal overhead. Our research enables more researchers to train diffusion models at a lower cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google