Structural Pruning for Diffusion Models

要約

生成モデリングは最近、主に拡散確率モデル (DPM) の変革的な影響によって推進され、目覚ましい進歩を遂げています。
ただし、これらのモデルの優れた機能は、多くの場合、トレーニングと推論の両方で大幅な計算オーバーヘッドを伴います。
この課題に取り組むために、大規模な再トレーニングを必要とせずに、既存のモデルから軽量の拡散モデルを学習するために調整された効率的な圧縮方法である Diff-Pruning を紹介します。
Diff-Pruning の本質は、枝刈りされたタイムステップにわたるテイラー展開にカプセル化されています。これは、寄与しない拡散ステップを無視し、重要な重みを特定するために有益な勾配をアンサンブルするプロセスです。
4 つの多様なデータセットにわたって実施された実証的評価では、提案された方法の 2 つの主な利点が明らかになりました。1) 効率: 元のトレーニング費用のわずか 10% ～ 20% で FLOP を約 50% 削減できます。
2) 一貫性: 枝刈りされた拡散モデルは、事前に訓練された祖先と一致する生成動作を本質的に保存します。
コードは \url{https://github.com/VainF/Diff-Pruning} で入手できます。

要約(オリジナル)

Generative modeling has recently undergone remarkable advancements, primarily propelled by the transformative implications of Diffusion Probabilistic Models (DPMs). The impressive capability of these models, however, often entails significant computational overhead during both training and inference. To tackle this challenge, we present Diff-Pruning, an efficient compression method tailored for learning lightweight diffusion models from pre-existing ones, without the need for extensive re-training. The essence of Diff-Pruning is encapsulated in a Taylor expansion over pruned timesteps, a process that disregards non-contributory diffusion steps and ensembles informative gradients to identify important weights. Our empirical assessment, undertaken across four diverse datasets highlights two primary benefits of our proposed method: 1) Efficiency: it enables approximately a 50% reduction in FLOPs at a mere 10% to 20% of the original training expenditure; 2) Consistency: the pruned diffusion models inherently preserve generative behavior congruent with their pre-trained progenitors. Code is available at \url{https://github.com/VainF/Diff-Pruning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google