Learning multivariate Gaussians with imperfect advice

要約

学習拡張アルゴリズムのフレームワーク内で分布学習の問題を再検討します。
この設定では、真の未知の分布に関する潜在的に不正確なアドバイスとして確率分布が提供されるシナリオを検討します。
私たちの目的は、アドバイスの品質が向上するにつれてサンプルの複雑さが減少する学習アルゴリズムを開発し、それによってアドバイスが十分に正確である場合に標準的な学習の下限を超えることです。
具体的には、PAC 学習設定における多変量ガウス分布 $N(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ の学習問題に対してこの結果が達成可能であることを示します。
古典的に、アドバイスなしの設定では、$\tilde{\Theta}(d^2/\varepsilon^2)$ サンプルで十分であり、最悪の場合でも TV 距離 $\varepsilon$ までの $d$ 次元ガウスを学習するのに必要です。
一定の確率で。
アドバイスとしてパラメーター $\tilde{\boldsymbol{\Sigma}}$ が追加で与えられると、$\tilde{O}(d^{2-\beta}/\varepsilon^2)$ サンプルが常に十分であることがわかります。
$\|
\チルダ{\boldsymbol{\Sigma}}^{-1/2} \boldsymbol{\Sigma} \チルダ{\boldsymbol{\Sigma}}^{-1/2} – \boldsymbol{I_d} \|_1 \
leq \varepsilon d^{1-\beta}$ ($\|\cdot\|_1$ はエントリワイズを示します)
$\beta > 0$ に対して $\ell_1$ ノルム)、アドバイスなしの設定よりも多項式の改善が得られます。

要約(オリジナル)

We revisit the problem of distribution learning within the framework of learning-augmented algorithms. In this setting, we explore the scenario where a probability distribution is provided as potentially inaccurate advice on the true, unknown distribution. Our objective is to develop learning algorithms whose sample complexity decreases as the quality of the advice improves, thereby surpassing standard learning lower bounds when the advice is sufficiently accurate. Specifically, we demonstrate that this outcome is achievable for the problem of learning a multivariate Gaussian distribution $N(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ in the PAC learning setting. Classically, in the advice-free setting, $\tilde{\Theta}(d^2/\varepsilon^2)$ samples are sufficient and worst case necessary to learn $d$-dimensional Gaussians up to TV distance $\varepsilon$ with constant probability. When we are additionally given a parameter $\tilde{\boldsymbol{\Sigma}}$ as advice, we show that $\tilde{O}(d^{2-\beta}/\varepsilon^2)$ samples suffices whenever $\| \tilde{\boldsymbol{\Sigma}}^{-1/2} \boldsymbol{\Sigma} \tilde{\boldsymbol{\Sigma}}^{-1/2} – \boldsymbol{I_d} \|_1 \leq \varepsilon d^{1-\beta}$ (where $\|\cdot\|_1$ denotes the entrywise $\ell_1$ norm) for any $\beta > 0$, yielding a polynomial improvement over the advice-free setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google