One-step Diffusion Models with $f$-Divergence Distribution Matching

要約

拡散モデルからのサンプリングには、特にインタラクティブなアプリケーションのための実際の展開を妨げる遅い反復プロセスが含まれます。
生成速度を加速するために、最近のアプローチでは、マルチステップ拡散モデルを単一ステップスコアジェネレーターに蒸留し、変分スコアの蒸留により、生成されたサンプルの分布と教師の分布に一致します。
ただし、これらのアプローチでは、モードを求めていることが知られている分布マッチングのために、逆カルバック – leibler（kl）発散を使用します。
このホワイトペーパーでは、モードカバレッジとトレーニングの差異に関して異なるトレードオフとの異なる相違をカバーする、$ f $ -distillと呼ばれる新しい$ f $ -divergence最小化フレームワークを使用して、分布マッチングアプローチを一般化します。
教師と生徒の分布の間の$ f $ divergenceの勾配を導き出し、スコアの違いの積と密度比で決定される重み関数として表されていることを示します。
この重み付け関数は、より少ないモードを求める発散を使用する場合、教師の分布の密度が高いサンプルを自然に強調します。
逆KLの発散を使用した一般的な変分スコア蒸留アプローチは、私たちのフレームワーク内の特別なケースであることを観察します。
経験的には、フォワードKLやジェンセンシャノンの発散などの代替$ f $ divergencesが、画像生成タスク全体で現在の最高の変動スコア蒸留方法を上回ることを実証します。
特に、Jensen-Shannon Divergenceを使用する場合、$ F $ -DISTILLは、MS-COCOで現在の最先端の1ステップ生成パフォーマンスとMS-CoCOでテキストからイメージまでゼロからイメージまでの生成を達成します。
プロジェクトページ：https：//research.nvidia.com/labs/genair/f-distill

要約(オリジナル)

Sampling from diffusion models involves a slow iterative process that hinders their practical deployment, especially for interactive applications. To accelerate generation speed, recent approaches distill a multi-step diffusion model into a single-step student generator via variational score distillation, which matches the distribution of samples generated by the student to the teacher’s distribution. However, these approaches use the reverse Kullback-Leibler (KL) divergence for distribution matching which is known to be mode seeking. In this paper, we generalize the distribution matching approach using a novel $f$-divergence minimization framework, termed $f$-distill, that covers different divergences with different trade-offs in terms of mode coverage and training variance. We derive the gradient of the $f$-divergence between the teacher and student distributions and show that it is expressed as the product of their score differences and a weighting function determined by their density ratio. This weighting function naturally emphasizes samples with higher density in the teacher distribution, when using a less mode-seeking divergence. We observe that the popular variational score distillation approach using the reverse-KL divergence is a special case within our framework. Empirically, we demonstrate that alternative $f$-divergences, such as forward-KL and Jensen-Shannon divergences, outperform the current best variational score distillation methods across image generation tasks. In particular, when using Jensen-Shannon divergence, $f$-distill achieves current state-of-the-art one-step generation performance on ImageNet64 and zero-shot text-to-image generation on MS-COCO. Project page: https://research.nvidia.com/labs/genair/f-distill

arxiv情報

提供元, 利用サービス

arxiv.jp, Google