Analysis of learning a flow-based generative model from limited sample complexity

要約

私たちは、高次元ガウス混合からサンプリングするために、2 層オートエンコーダーによってパラメーター化されたフローベースの生成モデルをトレーニングする問題を研究します。
私たちは問題の鋭いエンドツーエンド分析を提供します。
まず、ターゲット分布からの有限数 $n$ のサンプルで訓練された浅いノイズ除去自動エンコーダによってパラメータ化された場合、学習された速度場の厳密な閉形式の特徴付けを提供します。
この分析に基づいて、ベース ガウス密度を目標密度の近似値まで押し上げる、対応する生成フローを明確に説明します。
特に、生成された混合物の平均とターゲット混合物の平均の間の距離の閉じた形式の式を提供し、$\Theta_n(\frac{1}{n})$ として減衰を示します。
最後に、このレートは実際にベイズ最適であることが示されています。

要約(オリジナル)

We study the problem of training a flow-based generative model, parametrized by a two-layer autoencoder, to sample from a high-dimensional Gaussian mixture. We provide a sharp end-to-end analysis of the problem. First, we provide a tight closed-form characterization of the learnt velocity field, when parametrized by a shallow denoising auto-encoder trained on a finite number $n$ of samples from the target distribution. Building on this analysis, we provide a sharp description of the corresponding generative flow, which pushes the base Gaussian density forward to an approximation of the target density. In particular, we provide closed-form formulae for the distance between the mean of the generated mixture and the mean of the target mixture, which we show decays as $\Theta_n(\frac{1}{n})$. Finally, this rate is shown to be in fact Bayes-optimal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google