Manifolds, Random Matrices and Spectral Gaps: The geometric phases of generative diffusion

要約

この論文では、マニホールド仮説の下で生成拡散モデルの潜在的なジオメトリを調査します。
この目的のために、スコア関数のヤコビアンの固有値（および特異値）のスペクトルを分析します。
統計物理学アプローチを使用して、いくつかの分布仮定の下でスペクトルギャップのスペクトル分布と式を導き出し、これらの理論的予測を訓練されたネットワークから推定されたスペクトルと比較します。
私たちの分析は、生成プロセス中に3つの異なる定性的段階の存在を明らかにしています。
拡散プロセスがマニホールド内部の分布に適合する多様なカバレッジフェーズ。
スコアがマニホールドに対して直交する統合フェーズと、すべての粒子がデータのサポートで投影されます。
異なるタイムスケール間のこの「分業」は、生成的拡散モデルが、生成中の異なる時点で生成されるため、尤度ベースのモデルを悩ませるマニホールドオーバーフィッティング現象によって影響を受ける理由のエレガントな説明を提供します。

要約(オリジナル)

In this paper, we investigate the latent geometry of generative diffusion models under the manifold hypothesis. For this purpose, we analyze the spectrum of eigenvalues (and singular values) of the Jacobian of the score function, whose discontinuities (gaps) reveal the presence and dimensionality of distinct sub-manifolds. Using a statistical physics approach, we derive the spectral distributions and formulas for the spectral gaps under several distributional assumptions, and we compare these theoretical predictions with the spectra estimated from trained networks. Our analysis reveals the existence of three distinct qualitative phases during the generative process: a trivial phase; a manifold coverage phase where the diffusion process fits the distribution internal to the manifold; a consolidation phase where the score becomes orthogonal to the manifold and all particles are projected on the support of the data. This `division of labor’ between different timescales provides an elegant explanation of why generative diffusion models are not affected by the manifold overfitting phenomenon that plagues likelihood-based models, since the internal distribution and the manifold geometry are produced at different time points during generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google