Progressive Knowledge Distillation Of Stable Diffusion XL Using Layer Level Loss

要約

Stable Diffusion XL (SDXL) は、その多用途性と最高の画質により、オープンソースのテキストから画像へのモデル (T2I) の中で最も優れたものとなっています。
SDXL モデルの計算需要に効率的に対処することは、より広い適用範囲と適用性を実現するために重要です。
この研究では、モデルの削減に焦点を当てた層レベルの損失を使用した漸進的な除去によって達成される、それぞれ 1.3B と 0.74B のパラメーター UNets を持つ 2 つの縮小されたバリアント、Segmind Stable Diffusion (SSD-1B) と Segmind-Vega を導入します。
生成品質を維持しながらサイズを調整します。
これらのモデルの重みは https://hf.co/Segmind でリリースされます。
私たちの方法論には、SDXL の U-Net 構造から残留ネットワークとトランス ブロックを削除することが含まれており、その結果、パラメータとレイテンシが大幅に削減されます。
当社のコンパクトなモデルは、移転された知識を活用することでオリジナルの SDXL を効果的にエミュレートし、数十億パラメータのより大きな SDXL に対して競争力のある結果を達成します。
私たちの研究は、SDXL の高品質な生成機能を維持しながらモデル サイズを削減する上で、層レベルの損失と組み合わせた知識の蒸留の有効性を強調しており、リソースに制約のある環境でのよりアクセスしやすい展開を促進します。

要約(オリジナル)

Stable Diffusion XL (SDXL) has become the best open source text-to-image model (T2I) for its versatility and top-notch image quality. Efficiently addressing the computational demands of SDXL models is crucial for wider reach and applicability. In this work, we introduce two scaled-down variants, Segmind Stable Diffusion (SSD-1B) and Segmind-Vega, with 1.3B and 0.74B parameter UNets, respectively, achieved through progressive removal using layer-level losses focusing on reducing the model size while preserving generative quality. We release these models weights at https://hf.co/Segmind. Our methodology involves the elimination of residual networks and transformer blocks from the U-Net structure of SDXL, resulting in significant reductions in parameters, and latency. Our compact models effectively emulate the original SDXL by capitalizing on transferred knowledge, achieving competitive results against larger multi-billion parameter SDXL. Our work underscores the efficacy of knowledge distillation coupled with layer-level losses in reducing model size while preserving the high-quality generative capabilities of SDXL, thus facilitating more accessible deployment in resource-constrained environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google