Generalization Dynamics of Linear Diffusion Models

要約

ターゲット分布から$ N $サンプルで有限データセットで訓練された拡散モデルは、モデルがトレーニングの例を再現し、一般化まで、基礎となるデータ分布を反映した新しいサンプルを生成する一般化までの移行を示します。
この遷移を理解することは、生成モデルのサンプル効率と信頼性を特徴付けるための鍵ですが、この遷移の理論的理解は不完全です。
ここでは、テストエラー、サンプリング分布、およびサンプルとターゲット分布の間のカルバック – ライブラーの発散の明示的な計算を可能にする、線形眼鏡を使用して、単純なモデルでの記憶への記憶への移行を分析的に研究します。
これらのメジャーを使用して、この遷移は、入力の寸法である$ n \ symp d $の場合にほぼ発生すると予測します。
$ n $が入力$ d $の寸法よりも小さい場合、トレーニングデータに関連する変動方向のほんの一部のみが存在する場合、正規化と早期停止の両方が過剰適合を防ぐのに役立つ方法を示します。
$ n> d $の場合、線形拡散モデルのサンプリング分布は、データ分布の詳細とは無関係に、$ d/n $で最適に直線的にそれらの最適（測定）に近づくことがわかります。
私たちの作品は、サンプルの複雑さが、拡散ベースの生成モデルの単純なモデルでの一般化をどのように管理するかを明確にし、線形除去者のトレーニングダイナミクスに関する洞察を提供します。

要約(オリジナル)

Diffusion models trained on finite datasets with $N$ samples from a target distribution exhibit a transition from memorisation, where the model reproduces training examples, to generalisation, where it produces novel samples that reflect the underlying data distribution. Understanding this transition is key to characterising the sample efficiency and reliability of generative models, but our theoretical understanding of this transition is incomplete. Here, we analytically study the memorisation-to-generalisation transition in a simple model using linear denoisers, which allow explicit computation of test errors, sampling distributions, and Kullback-Leibler divergences between samples and target distribution. Using these measures, we predict that this transition occurs roughly when $N \asymp d$, the dimension of the inputs. When $N$ is smaller than the dimension of the inputs $d$, so that only a fraction of relevant directions of variation are present in the training data, we demonstrate how both regularization and early stopping help to prevent overfitting. For $N > d$, we find that the sampling distributions of linear diffusion models approach their optimum (measured by the Kullback-Leibler divergence) linearly with $d/N$, independent of the specifics of the data distribution. Our work clarifies how sample complexity governs generalisation in a simple model of diffusion-based generative models and provides insight into the training dynamics of linear denoisers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google