Memorization and Regularization in Generative Diffusion Models

要約

拡散モデルは、生成モデリングの強力なフレームワークとして浮上しています。
方法論の中心にあるのは、スコアマッチングです。さまざまなスケールでのデータ分布の騒々しいバージョンのログデンシティファミリーの勾配を学習します。
スコアマッチングで採用された損失関数が、人口損失ではなく経験的データを使用して評価される場合、ミニマイザーは時間依存のガウス混合のスコアに対応します。
ただし、この分析的に扱いやすいミニマイザーの使用は、データの記憶につながります。無条件と条件付き設定の両方で、生成モデルはトレーニングサンプルを返します。
この論文には、暗記の根底にある動的メカニズムの分析が含まれています。
分析は、分析的に扱いやすいミニマイザーの再現を避けるために正則化の必要性を強調しています。
そして、そうすることで、正規化する方法の原則的な理解の基礎を築きます。
数値実験では、以下の特性を調査します。（i）Tikhonovの正則化。
（ii）漸近の一貫性を促進するように設計された正則化。
（iii）ニューラルネットワークのアンダーパラメータ化またはニューラルネットワークをトレーニングする際に早期に停止することにより誘発される正則化。
これらの実験は、暗記の文脈で評価され、正規化の将来の開発の方向性が強調されています。

要約(オリジナル)

Diffusion models have emerged as a powerful framework for generative modeling. At the heart of the methodology is score matching: learning gradients of families of log-densities for noisy versions of the data distribution at different scales. When the loss function adopted in score matching is evaluated using empirical data, rather than the population loss, the minimizer corresponds to the score of a time-dependent Gaussian mixture. However, use of this analytically tractable minimizer leads to data memorization: in both unconditioned and conditioned settings, the generative model returns the training samples. This paper contains an analysis of the dynamical mechanism underlying memorization. The analysis highlights the need for regularization to avoid reproducing the analytically tractable minimizer; and, in so doing, lays the foundations for a principled understanding of how to regularize. Numerical experiments investigate the properties of: (i) Tikhonov regularization; (ii) regularization designed to promote asymptotic consistency; and (iii) regularizations induced by under-parameterization of a neural network or by early stopping when training a neural network. These experiments are evaluated in the context of memorization, and directions for future development of regularization are highlighted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google