Diffusion Model Quantization: A Review

要約

大規模なテキストからイメージモデルの最近の成功により、生成タスクにおける拡散モデルの例外的なパフォーマンスが経験的に強調されています。
リソース制約のあるエッジデバイスでの効率的な展開を容易にするために、モデルの量子化は、圧縮と加速の両方のための極めて重要な手法として浮上しています。
この調査では、拡散モデルの量子化、この急速に進歩するドメインの現在の最新の最新をカプセル化および分析する最新の進歩の徹底的なレビューを提供します。
まず、U-NETアーキテクチャと拡散トランス（DIT）に基づくものを含む拡散モデルの量子化で発生する重要な課題の概要を説明します。
次に、一般的な量子化技術の包括的な分類法を提示し、基礎となる原則の詳細な議論に従事します。
その後、定性的および定量的視点の両方からの代表的な拡散モデルの量子化スキームの綿密な分析を実行します。
定量的な観点から、広く認識されているデータセットを使用してさまざまな方法を厳密にベンチマークし、この分野での最新の影響力のある研究の広範な評価を提供します。
定性的な観点から、量子化エラーの効果を分類および合成し、視覚分析と軌跡検査の両方を通じてこれらの影響を解明します。
結論として、私たちは将来の研究のための見込み手段を概説し、実際のアプリケーションで生成モデルの量子化のための新しい方向性を提案します。
関連する論文、対応するコード、事前に訓練されたモデル、比較結果のリストは、調査プロジェクトのホームページhttps://github.com/taylorjocelyn/diffusion-model-quantizationで公開されています。

要約(オリジナル)

Recent success of large text-to-image models has empirically underscored the exceptional performance of diffusion models in generative tasks. To facilitate their efficient deployment on resource-constrained edge devices, model quantization has emerged as a pivotal technique for both compression and acceleration. This survey offers a thorough review of the latest advancements in diffusion model quantization, encapsulating and analyzing the current state of the art in this rapidly advancing domain. First, we provide an overview of the key challenges encountered in the quantization of diffusion models, including those based on U-Net architectures and Diffusion Transformers (DiT). We then present a comprehensive taxonomy of prevalent quantization techniques, engaging in an in-depth discussion of their underlying principles. Subsequently, we perform a meticulous analysis of representative diffusion model quantization schemes from both qualitative and quantitative perspectives. From a quantitative standpoint, we rigorously benchmark a variety of methods using widely recognized datasets, delivering an extensive evaluation of the most recent and impactful research in the field. From a qualitative standpoint, we categorize and synthesize the effects of quantization errors, elucidating these impacts through both visual analysis and trajectory examination. In conclusion, we outline prospective avenues for future research, proposing novel directions for the quantization of generative models in practical applications. The list of related papers, corresponding codes, pre-trained models and comparison results are publicly available at the survey project homepage https://github.com/TaylorJocelyn/Diffusion-Model-Quantization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google