BinaryDM: Towards Accurate Binarization of Diffusion Model

要約

拡散モデル (DM) の進歩と計算要件の大幅な増加に伴い、量子化はコンパクトで効率的な低ビット DM を取得するための実用的なソリューションとして浮上しています。
ただし、高度に離散的な表現は精度の大幅な低下につながり、拡散モデルを超低ビット幅に量子化するのを妨げます。
この論文では、拡散モデルの重みを 1 ビットの限界に近づけるための、量子化を意識した正確な新しいトレーニング アプローチである BinaryDM を提案します。
まず、バイナリ化された DM によって生成された表現を復元するための学習可能な多基底バイナライザー (LMB) を紹介します。これにより、DM にとって重要な表現の詳細情報が改善されます。
次に、低ランク表現模倣 (LRM) を適用して DM の 2 値化を意識した最適化を強化し、きめの細かい位置合わせによって引き起こされる最適化方向の曖昧さを軽減します。
さらに、収束の困難を回避するために、段階的な初期化戦略が DM のトレーニングに適用されます。
包括的な実験により、BinaryDM は、超低ビット幅下で DM の SOTA 量子化方法と比較して、精度と効率が大幅に向上することが実証されました。
拡散モデルの最初の二値化手法として、BinaryDM は、1 ビットの重みと 4 ビットのアクティベーションで 16.0 倍の FLOP と 27.1 倍のストレージ節約を実現し、リソースが限られたシナリオで DM を導入する際の大きな利点と可能性を示しています。

要約(オリジナル)

With the advancement of diffusion models (DMs) and the substantially increased computational requirements, quantization emerges as a practical solution to obtain compact and efficient low-bit DMs. However, the highly discrete representation leads to severe accuracy degradation, hindering the quantization of diffusion models to ultra-low bit-widths. In this paper, we propose BinaryDM, a novel accurate quantization-aware training approach to push the weights of diffusion models towards the limit of 1-bit. Firstly, we present a Learnable Multi-basis Binarizer (LMB) to recover the representations generated by the binarized DM, which improves the information in details of representations crucial to the DM. Secondly, a Low-rank Representation Mimicking (LRM) is applied to enhance the binarization-aware optimization of the DM, alleviating the optimization direction ambiguity caused by fine-grained alignment. Moreover, a progressive initialization strategy is applied to training DMs to avoid convergence difficulties. Comprehensive experiments demonstrate that BinaryDM achieves significant accuracy and efficiency gains compared to SOTA quantization methods of DMs under ultra-low bit-widths. As the first binarization method for diffusion models, BinaryDM achieves impressive 16.0 times FLOPs and 27.1 times storage savings with 1-bit weight and 4-bit activation, showcasing its substantial advantages and potential for deploying DMs on resource-limited scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google