Learning general Gaussian mixtures with efficient score matching

要約

$d$ 次元の $k$ ガウスの混合を学習する問題を研究します。
基礎となる混合成分について分離の仮定は行いません。必要なのは、共分散行列が有界の条件数を持ち、平均と共分散が有界の半径の球内にあることだけです。
ターゲット混合物から $d^{\mathrm{poly}(k/\varepsilon)}$ サンプルを抽出し、サンプル多項式時間で実行し、出力分布が $\varepsilon$-far であるサンプラーを構築するアルゴリズムを与えます。
トータルバリエーションの未知の混合物から。
この問題に対する以前の研究では、(i) 次元 $d$ で指数関数的な実行時間が必要か、(ii) インスタンスに強い仮定 (球面共分散やクラスター可能性など) を置くか、(iii) コンポーネントの数に二重に指数関数的に依存するかのいずれかでした。
$k$。
私たちのアプローチは、モーメント法など、この問題に対して一般的に使用される手法とは異なります。
代わりに、分布学習からスコア マッチングと呼ばれる教師あり学習タスクまで、拡散モデルに基づいて最近開発された削減を活用します。
混合ガウスのスコア関数が区分的多項式関数で近似できること、およびそれを見つけるための効率的なアルゴリズムが存在することを示す構造的結果を証明することにより、後者のアルゴリズムを与えます。
私たちの知る限り、これは教師なし学習タスクに対して最先端の理論的保証を達成した拡散モデルの最初の例です。

要約(オリジナル)

We study the problem of learning mixtures of $k$ Gaussians in $d$ dimensions. We make no separation assumptions on the underlying mixture components: we only require that the covariance matrices have bounded condition number and that the means and covariances lie in a ball of bounded radius. We give an algorithm that draws $d^{\mathrm{poly}(k/\varepsilon)}$ samples from the target mixture, runs in sample-polynomial time, and constructs a sampler whose output distribution is $\varepsilon$-far from the unknown mixture in total variation. Prior works for this problem either (i) required exponential runtime in the dimension $d$, (ii) placed strong assumptions on the instance (e.g., spherical covariances or clusterability), or (iii) had doubly exponential dependence on the number of components $k$. Our approach departs from commonly used techniques for this problem like the method of moments. Instead, we leverage a recently developed reduction, based on diffusion models, from distribution learning to a supervised learning task called score matching. We give an algorithm for the latter by proving a structural result showing that the score function of a Gaussian mixture can be approximated by a piecewise-polynomial function, and there is an efficient algorithm for finding it. To our knowledge, this is the first example of diffusion models achieving a state-of-the-art theoretical guarantee for an unsupervised learning task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google