A Comprehensive Survey on Knowledge Distillation of Diffusion Models

要約

タイトル：拡散モデルの知識蒸留に関する包括的調査
要約：
– 拡散モデルは、ニューラルネットワークを用いてスコア関数を特定するスコアベースの拡散モデルである。
– DMはスコア関数を直接モデル化するため、他の多くの確率モデルと異なり、パラメータ化が柔軟で確率的モデリングに高度に適している。
– DMは、基盤となる分布のマルギナルスコア関数と呼ばれる細かい知識を学習できる。
– DMの知識を蒸留する方法や彼らのポテンシャルを十分に活用する方法を探ることは、重要な研究方向である。
– 本調査の目的は、DMの蒸留に関する現代的なアプローチの包括的な概要を提供することであり、DMの紹介と彼らを神経ベクトル場に蒸留する際に必要な課題の議論から始める。また、既存の作品を概観し、確率的および決定論的な暗黙のジェネレーターにDMを蒸留する方法を提供する。最後に、訓練フリーな蒸留のための急速な拡散サンプリングアルゴリズムをレビューする。本論文は、生成モデルの基本的な理解を持ち、DMの蒸留を適用したり、この分野の研究プロジェクトに着手することを希望する人々を対象としている。

要約(オリジナル)

Diffusion Models (DMs), also referred to as score-based diffusion models, utilize neural networks to specify score functions. Unlike most other probabilistic models, DMs directly model the score functions, which makes them more flexible to parametrize and potentially highly expressive for probabilistic modeling. DMs can learn fine-grained knowledge, i.e., marginal score functions, of the underlying distribution. Therefore, a crucial research direction is to explore how to distill the knowledge of DMs and fully utilize their potential. Our objective is to provide a comprehensible overview of the modern approaches for distilling DMs, starting with an introduction to DMs and a discussion of the challenges involved in distilling them into neural vector fields. We also provide an overview of the existing works on distilling DMs into both stochastic and deterministic implicit generators. Finally, we review the accelerated diffusion sampling algorithms as a training-free method for distillation. Our tutorial is intended for individuals with a basic understanding of generative models who wish to apply DM’s distillation or embark on a research project in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI