BitsFusion: 1.99 bits Weight Quantization of Diffusion Model

要約

拡散ベースの画像生成モデルは、高品質のコンテンツを合成する機能を示すことにより、近年大きな成功を収めています。
ただし、これらのモデルには膨大な数のパラメーターが含まれているため、モデルのサイズが大幅に大きくなります。
これらの保存と転送は、さまざまなアプリケーション、特にリソースに制約のあるデバイスで実行されるアプリケーションにとって大きなボトルネックになります。
この研究では、UNet を Stable Diffusion v1.5 から 1.99 ビットに量子化する新しい重み量子化方法を開発し、元のモデルよりもさらに優れた生成品質を示しながら 7.9 倍小さいサイズのモデルを実現しました。
私たちのアプローチには、各層に最適なビットを割り当てること、パフォーマンスを向上させるために量子化モデルを初期化すること、量子化誤差を劇的に減らすためにトレーニング戦略を改善することなど、いくつかの新しい技術が含まれています。
さらに、さまざまなベンチマーク データセットにわたって、人間による評価を通じて量子化モデルを広範に評価し、その優れた生成品質を実証しています。

要約(オリジナル)

Diffusion-based image generation models have achieved great success in recent years by showing the capability of synthesizing high-quality content. However, these models contain a huge number of parameters, resulting in a significantly large model size. Saving and transferring them is a major bottleneck for various applications, especially those running on resource-constrained devices. In this work, we develop a novel weight quantization method that quantizes the UNet from Stable Diffusion v1.5 to 1.99 bits, achieving a model with 7.9X smaller size while exhibiting even better generation quality than the original one. Our approach includes several novel techniques, such as assigning optimal bits to each layer, initializing the quantized model for better performance, and improving the training strategy to dramatically reduce quantization error. Furthermore, we extensively evaluate our quantized model across various benchmark datasets and through human evaluation to demonstrate its superior generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google