Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions

要約

スコアベース生成モデル (SGM) は、膨大な画像生成タスクにおいて目覚ましい成功を収めていますが、その数学的基礎は依然として限定的です。
この論文では、サブガウス確率分布のファミリーを学習する際の SGM の近似と一般化を分析します。
標準的なガウス測度に対する相対密度の観点から、確率分布の複雑さの概念を導入します。
パラメータを適切に制限できるニューラル ネットワークによって対数相対密度を局所的に近似できる場合、経験的スコア マッチングによって生成された分布は、次元に依存しない割合で全体の変動においてターゲット分布に近似することを証明します。
特定のガウス分布の混合を含む例を通じて理論を説明します。
私たちの証明の重要な要素は、フォワード プロセスに関連付けられた真のスコア関数の無次元ディープ ニューラル ネットワーク近似率を導出することですが、これはそれ自体興味深いものです。

要約(オリジナル)

While score-based generative models (SGMs) have achieved remarkable success in enormous image generation tasks, their mathematical foundations are still limited. In this paper, we analyze the approximation and generalization of SGMs in learning a family of sub-Gaussian probability distributions. We introduce a notion of complexity for probability distributions in terms of their relative density with respect to the standard Gaussian measure. We prove that if the log-relative density can be locally approximated by a neural network whose parameters can be suitably bounded, then the distribution generated by empirical score matching approximates the target distribution in total variation with a dimension-independent rate. We illustrate our theory through examples, which include certain mixtures of Gaussians. An essential ingredient of our proof is to derive a dimension-free deep neural network approximation rate for the true score function associated with the forward process, which is interesting in its own right.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google