Manifolds, Random Matrices and Spectral Gaps: The geometric phases of generative diffusion

要約

この論文では、多様体仮説の下で生成拡散モデルの潜在幾何学を調査します。
この目的のために、スコア関数のヤコビアンの固有値 (および特異値) のスペクトルを分析します。その不連続性 (ギャップ) により、別個の部分多様体の存在と次元性が明らかになります。
統計物理学のアプローチを使用して、いくつかの分布仮定の下でスペクトル分布とスペクトル ギャップの公式を導き出し、これらの理論的予測を訓練されたネットワークから推定されたスペクトルと比較します。
私たちの分析により、生成プロセス中に 3 つの異なる質的段階が存在することが明らかになりました。
拡散プロセスが多様体内部の分布に適合する多様体被覆段階。
統合フェーズでは、スコアが多様体に対して直交し、すべての粒子がデータのサポート上に投影されます。
異なるタイムスケール間のこの「分業」は、内部分布と多様体ジオメトリが生成中の異なる時点で生成されるため、生成拡散モデルが尤度ベースのモデルを悩ませる多様体過学習現象の影響を受けない理由の洗練された説明を提供します。

要約(オリジナル)

In this paper, we investigate the latent geometry of generative diffusion models under the manifold hypothesis. For this purpose, we analyze the spectrum of eigenvalues (and singular values) of the Jacobian of the score function, whose discontinuities (gaps) reveal the presence and dimensionality of distinct sub-manifolds. Using a statistical physics approach, we derive the spectral distributions and formulas for the spectral gaps under several distributional assumptions, and we compare these theoretical predictions with the spectra estimated from trained networks. Our analysis reveals the existence of three distinct qualitative phases during the generative process: a trivial phase; a manifold coverage phase where the diffusion process fits the distribution internal to the manifold; a consolidation phase where the score becomes orthogonal to the manifold and all particles are projected on the support of the data. This `division of labor’ between different timescales provides an elegant explanation of why generative diffusion models are not affected by the manifold overfitting phenomenon that plagues likelihood-based models, since the internal distribution and the manifold geometry are produced at different time points during generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google