TerDiT: Ternary Diffusion Models with Transformers

要約

大規模な事前トレーニングされたテキストから画像への拡散モデルの最近の開発により、特にトランスフォーマー アーキテクチャ (DiT) に基づく拡散モデルの出現により、高忠実度画像の生成が大幅に向上しました。
これらの拡散モデルの中でも、拡散トランスは優れた画像生成機能を実証し、FID スコアの低下とスケーラビリティの向上を実現しました。
ただし、大規模な DiT モデルの導入は、パラメーターの数が膨大であるため、コストが高くなる可能性があります。
既存の研究では、モデルの量子化などの拡散モデルの効率的な展開手法が検討されていますが、DiT ベースのモデルに関する研究はまだほとんどありません。
この研究ギャップに取り組むために、この論文では、量子化を意識したトレーニング (QAT) であり、トランスを備えた 3 値拡散モデルの効率的な展開スキームである TerDiT を提案します。
私たちは、DiT ネットワークの 3 値化と 600M から 4.2B までのモデル サイズに焦点を当てています。
私たちの研究は、大規模な DiT モデルの効率的な展開戦略の探求に貢献し、完全精度モデルと比較して競争力のある画像生成能力を維持しながら、極度に低ビットの拡散トランス モデルをゼロからトレーニングする実現可能性を実証しています。
コードは https://github.com/Lucky-Lance/TerDiT で入手できます。

要約(オリジナル)

Recent developments in large-scale pre-trained text-to-image diffusion models have significantly improved the generation of high-fidelity images, particularly with the emergence of diffusion models based on transformer architecture (DiTs). Among these diffusion models, diffusion transformers have demonstrated superior image generation capabilities, boosting lower FID scores and higher scalability. However, deploying large-scale DiT models can be expensive due to their extensive parameter numbers. Although existing research has explored efficient deployment techniques for diffusion models such as model quantization, there is still little work concerning DiT-based models. To tackle this research gap, in this paper, we propose TerDiT, a quantization-aware training (QAT) and efficient deployment scheme for ternary diffusion models with transformers. We focus on the ternarization of DiT networks and scale model sizes from 600M to 4.2B. Our work contributes to the exploration of efficient deployment strategies for large-scale DiT models, demonstrating the feasibility of training extremely low-bit diffusion transformer models from scratch while maintaining competitive image generation capacities compared to full-precision models. Code will be available at https://github.com/Lucky-Lance/TerDiT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google