LAPTOP-Diff: Layer Pruning and Normalized Distillation for Compressing Diffusion Models

要約

AIGCの時代には、拡散モデルの低予算またはデバイス上のアプリケーションの需要が現れました。
安定した拡散モデル（SDMS）を圧縮するという点では、いくつかのアプローチが提案されており、それらのほとんどは、より小さなUネットを取得するために手作りの層除去方法を活用し、ネットワークパフォーマンスを回復するための知識の蒸留とともに。
ただし、このような手作りの層除去方法は非効率的であり、スケーラビリティと一般化が欠けており、再訓練フェーズで採用されている特徴の蒸留は、いくつかの数値的に有意な特徴損失項が再訓練プロセス全体を通して他の人よりも支配的な不均衡の問題に直面しています。
この目的のために、拡散モデルを圧縮するための層の剪定と正規化された蒸留を提案しました（ラップトップディフ）。
1）SDMのu-netを自動的に圧縮するレイヤープルーニング法を導入し、その優れた添加剤のプロパティによって1ショットのパフォーマンスが保証され、他のレイヤー剪定と手作りの層除去方法を上回る効果的なワンショット剪定基準を提案しました。
提案されたラップトップディフを使用して、SDXLとSDM-V1.5のUネットを最先端のパフォーマンスで圧縮し、50％の剪定比でピックスコアの最小4.0％の低下を達成し、比較方法の最小ピックスコアの減少は8.2％です。

要約(オリジナル)

In the era of AIGC, the demand for low-budget or even on-device applications of diffusion models emerged. In terms of compressing the Stable Diffusion models (SDMs), several approaches have been proposed, and most of them leveraged the handcrafted layer removal methods to obtain smaller U-Nets, along with knowledge distillation to recover the network performance. However, such a handcrafting manner of layer removal is inefficient and lacks scalability and generalization, and the feature distillation employed in the retraining phase faces an imbalance issue that a few numerically significant feature loss terms dominate over others throughout the retraining process. To this end, we proposed the layer pruning and normalized distillation for compressing diffusion models (LAPTOP-Diff). We, 1) introduced the layer pruning method to compress SDM’s U-Net automatically and proposed an effective one-shot pruning criterion whose one-shot performance is guaranteed by its good additivity property, surpassing other layer pruning and handcrafted layer removal methods, 2) proposed the normalized feature distillation for retraining, alleviated the imbalance issue. Using the proposed LAPTOP-Diff, we compressed the U-Nets of SDXL and SDM-v1.5 for the most advanced performance, achieving a minimal 4.0% decline in PickScore at a pruning ratio of 50% while the comparative methods’ minimal PickScore decline is 8.2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google