On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates

要約

私たちは、強い対数凹データ分布の仮定の下で、拡散ベースの生成モデルの収束挙動に対して完全な理論的保証を提供しますが、スコア推定に使用される関数の近似クラスはリプシッツ連続関数で構成されています。
平均が未知のガウス分布からサンプリングするという動機付けの例を通じて、私たちのアプローチの強力さを示します。
この場合、関連する最適化問題、つまりスコア近似に対して明示的な推定値が提供され、これらは対応するサンプリング推定値と結合されます。
その結果、データ分布 (平均が未知のガウス) とサンプリング アルゴリズムの間の Wasserstein-2 距離について、次元や収束率などの重要な重要量に関して最もよく知られている上限推定値が得られます。
動機付けとなる例を超えて、さまざまな確率的オプティマイザーの使用を可能にするために、$L^2$ 精度のスコア推定仮定を使用して結果を提示します。この仮定は、確率的オプティマイザーに関する期待に基づいて決定的に形成されます。
そして既知の情報のみを使用する新しい補助プロセス。
このアプローチにより、サンプリング アルゴリズムの最もよく知られた収束率が得られます。

要約(オリジナル)

We provide full theoretical guarantees for the convergence behaviour of diffusion-based generative models under the assumption of strongly logconcave data distributions while our approximating class of functions used for score estimation is made of Lipschitz continuous functions. We demonstrate via a motivating example, sampling from a Gaussian distribution with unknown mean, the powerfulness of our approach. In this case, explicit estimates are provided for the associated optimization problem, i.e. score approximation, while these are combined with the corresponding sampling estimates. As a result, we obtain the best known upper bound estimates in terms of key quantities of interest, such as the dimension and rates of convergence, for the Wasserstein-2 distance between the data distribution (Gaussian with unknown mean) and our sampling algorithm. Beyond the motivating example and in order to allow for the use of a diverse range of stochastic optimizers, we present our results using an $L^2$-accurate score estimation assumption, which crucially is formed under an expectation with respect to the stochastic optimizer and our novel auxiliary process that uses only known information. This approach yields the best known convergence rate for our sampling algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google