Dynamical Regimes of Diffusion Models

要約

統計物理学的手法を使用して、空間の次元とデータ数が大きく、スコア関数が最適に学習された領域における生成拡散モデルを研究します。
私たちの分析は、逆方向生成拡散プロセス中の 3 つの異なる力学的領域を明らかにしました。
純粋なノイズから始まる生成ダイナミクスは、最初に「種分化」遷移に遭遇します。そこでは、相転移における対称性の破れと同様のメカニズムを通じて、データの全体的な構造が解明されます。
その後、ガラス相の凝縮と同様のメカニズムを通じて、ダイナミクスの軌跡が記憶されたデータ ポイントの 1 つに引き寄せられる「崩壊」遷移が続きます。
どのようなデータセットでも、種分化時間は相関行列のスペクトル分析から求めることができ、崩壊時間はデータ内の「過剰エントロピー」の推定から求めることができます。
崩壊時間の次元およびデータ数への依存性は、拡散モデルの次元性の呪いの完全な特徴付けを提供します。
高次元ガウス混合のような単純なモデルの解析ソリューションはこれらの発見を実証し、理論的枠組みを提供しますが、より複雑なシナリオへの拡張と実際のデータセットを使用した数値検証は理論的予測を裏付けます。

要約(オリジナル)

Using statistical physics methods, we study generative diffusion models in the regime where the dimension of space and the number of data are large, and the score function has been trained optimally. Our analysis reveals three distinct dynamical regimes during the backward generative diffusion process. The generative dynamics, starting from pure noise, encounters first a ‘speciation’ transition where the gross structure of data is unraveled, through a mechanism similar to symmetry breaking in phase transitions. It is followed at later time by a ‘collapse’ transition where the trajectories of the dynamics become attracted to one of the memorized data points, through a mechanism which is similar to the condensation in a glass phase. For any dataset, the speciation time can be found from a spectral analysis of the correlation matrix, and the collapse time can be found from the estimation of an ‘excess entropy’ in the data. The dependence of the collapse time on the dimension and number of data provides a thorough characterization of the curse of dimensionality for diffusion models. Analytical solutions for simple models like high-dimensional Gaussian mixtures substantiate these findings and provide a theoretical framework, while extensions to more complex scenarios and numerical validations with real datasets confirm the theoretical predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google