Understanding Generalization in Diffusion Models via Probability Flow Distance

要約

拡散モデルは、トレーニングデータを超えて一般化する高品質のサンプルを生成できる強力なクラスの生成モデルとして浮上しています。
ただし、この一般化を評価することは依然として困難なままです。理論的な指標は、高次元データに対しては非現実的であることがよくありますが、実用的なメトリックは厳密に一般化を測定するものではありません。
この作業では、確率フロー距離（$ \ texttt {pfd} $）を導入することにより、このギャップを埋めます。
具体的には、$ \ texttt {pfd} $は、確率フローオードによって誘導されるノイズ間マッピングを比較することにより、分布間の距離を定量化します。
さらに、教師と学生の評価プロトコルの下で$ \ texttt {pfd} $を使用することにより、拡散モデルのいくつかの重要な一般化行動を経験的に明らかにします。
これらの洞察を超えて、私たちの仕事は、拡散モデルにおける一般化に関する将来の経験的および理論的研究の基礎となっています。

要約(オリジナル)

Diffusion models have emerged as a powerful class of generative models, capable of producing high-quality samples that generalize beyond the training data. However, evaluating this generalization remains challenging: theoretical metrics are often impractical for high-dimensional data, while no practical metrics rigorously measure generalization. In this work, we bridge this gap by introducing probability flow distance ($\texttt{PFD}$), a theoretically grounded and computationally efficient metric to measure distributional generalization. Specifically, $\texttt{PFD}$ quantifies the distance between distributions by comparing their noise-to-data mappings induced by the probability flow ODE. Moreover, by using $\texttt{PFD}$ under a teacher-student evaluation protocol, we empirically uncover several key generalization behaviors in diffusion models, including: (1) scaling behavior from memorization to generalization, (2) early learning and double descent training dynamics, and (3) bias-variance decomposition. Beyond these insights, our work lays a foundation for future empirical and theoretical studies on generalization in diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google