Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure

要約

この研究では、学習されたスコア関数の隠れた特性を調べることによって拡散モデルの一般化可能性を研究します。学習されたスコア関数は、本質的にはさまざまなノイズ レベルで訓練された一連のディープ デノイザーです。
拡散モデルが記憶化から一般化に移行するにつれて、対応する非線形拡散デノイザーの線形性が増加することが観察されます。
この発見により、非線形拡散モデルの線形対応物、つまり非線形拡散デノイザーの関数マッピングに一致するようにトレーニングされた一連の線形モデルを調査することができました。
驚くべきことに、これらの線形デノイザーは、トレーニング データセットの経験的平均と共分散によって特徴付けられる多変量ガウス分布にとってほぼ最適なデノイザーです。
この発見は、拡散モデルには、データ生成のためのトレーニング データセットのガウス構造 (共分散情報) の捕捉と利用に対する帰納的バイアスがあることを意味します。
我々は、この帰納的バイアスが一般化領域における拡散モデルの固有の特性であることを経験的に示しています。これは、モデルの容量がトレーニング データセットのサイズに比べて比較的小さい場合にますます顕著になります。
モデルが非常にオーバーパラメータ化されている場合、この帰納的バイアスは、モデルがトレーニング データを完全に記憶する前の初期トレーニング段階で発生します。
私たちの研究は、現実世界の拡散モデルで最近観察された注目すべき強力な一般化現象を理解する上で重要な洞察を提供します。

要約(オリジナル)

In this work, we study the generalizability of diffusion models by looking into the hidden properties of the learned score functions, which are essentially a series of deep denoisers trained on various noise levels. We observe that as diffusion models transition from memorization to generalization, their corresponding nonlinear diffusion denoisers exhibit increasing linearity. This discovery leads us to investigate the linear counterparts of the nonlinear diffusion models, which are a series of linear models trained to match the function mappings of the nonlinear diffusion denoisers. Surprisingly, these linear denoisers are approximately the optimal denoisers for a multivariate Gaussian distribution characterized by the empirical mean and covariance of the training dataset. This finding implies that diffusion models have the inductive bias towards capturing and utilizing the Gaussian structure (covariance information) of the training dataset for data generation. We empirically demonstrate that this inductive bias is a unique property of diffusion models in the generalization regime, which becomes increasingly evident when the model’s capacity is relatively small compared to the training dataset size. In the case that the model is highly overparameterized, this inductive bias emerges during the initial training phases before the model fully memorizes its training data. Our study provides crucial insights into understanding the notable strong generalization phenomenon recently observed in real-world diffusion models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google