A precise asymptotic analysis of learning diffusion models: theory and insights

要約

この原稿では、基礎となる低次元多様体構造を備えた高次元ターゲット密度で、オンライン確率的勾配降下法でトレーニングされた、2 層オートエンコーダーによってパラメータ化された流れまたは拡散ベースの生成モデルを学習する問題を検討します。
。
学習されたモデルによって生成されたサンプル分布の低次元投影の厳密な漸近的特徴付けを導き出し、特にトレーニング サンプルの数への依存性を確認します。
この分析に基づいて、生成された合成データで生成モデルが再トレーニングされるときにモード崩壊がどのように発生し、モデル崩壊につながるのかについて説明します。

要約(オリジナル)

In this manuscript, we consider the problem of learning a flow or diffusion-based generative model parametrized by a two-layer auto-encoder, trained with online stochastic gradient descent, on a high-dimensional target density with an underlying low-dimensional manifold structure. We derive a tight asymptotic characterization of low-dimensional projections of the distribution of samples generated by the learned model, ascertaining in particular its dependence on the number of training samples. Building on this analysis, we discuss how mode collapse can arise, and lead to model collapse when the generative model is re-trained on generated synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google