Learning multivariate Gaussians with imperfect advice

要約

学習能力アルゴリズムのフレームワーク内で、分布学習の問題を再検討します。
この設定では、真の未知の分布に関する不正確なアドバイスとして潜在的に不正確なアドバイスとして確率分布が提供されるシナリオを調査します。
私たちの目的は、アドバイスの品質が向上するにつれてサンプルの複雑さが低下する学習アルゴリズムを開発することです。
具体的には、この結果は、PAC学習設定で多変量ガウス分布$ n（\ boldsymbol {\ mu}、\ boldsymbol {\ sigma}）$を学習する問題のために達成できることを実証します。
古典的には、アドバイスフリー設定では、$ \ tilde {\ theta}（d^2/\ varepsilon^2）$サンプルは、テレビ距離まで$ d $ dimensional gausiansiansを学ぶのに必要な十分で最悪の場合$ \ varepsilon $
一定の確率で。
さらに、アドバイスとしてパラメーター$ \ tilde {\ boldsymbol {\ sigma}} $が追加された場合、$ \ tilde {o}（d^{2- \ beta}/\ varepsilon^2）$サンプルが十分に十分であることを示します。
$ \ |
\ tilde {\ boldsymbol {\ sigma}}^{ – 1/2} \ boldsymbol {\ sigma} \ tilde {\ boldsymbol {\ sigma}}^{-1/2} – \ boldsymbol {i_d} \ | | _1 \
leq \ varepsilon d^{1- \ beta} $（ここで、$ \ | \ cdot \ | _1 $は$ \ beta> 0 $のentrywise $ \ ell_1 $ normを示します）、アドバイスフリーの多項式改善をもたらします
設定。

要約(オリジナル)

We revisit the problem of distribution learning within the framework of learning-augmented algorithms. In this setting, we explore the scenario where a probability distribution is provided as potentially inaccurate advice on the true, unknown distribution. Our objective is to develop learning algorithms whose sample complexity decreases as the quality of the advice improves, thereby surpassing standard learning lower bounds when the advice is sufficiently accurate. Specifically, we demonstrate that this outcome is achievable for the problem of learning a multivariate Gaussian distribution $N(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ in the PAC learning setting. Classically, in the advice-free setting, $\tilde{\Theta}(d^2/\varepsilon^2)$ samples are sufficient and worst case necessary to learn $d$-dimensional Gaussians up to TV distance $\varepsilon$ with constant probability. When we are additionally given a parameter $\tilde{\boldsymbol{\Sigma}}$ as advice, we show that $\tilde{O}(d^{2-\beta}/\varepsilon^2)$ samples suffices whenever $\| \tilde{\boldsymbol{\Sigma}}^{-1/2} \boldsymbol{\Sigma} \tilde{\boldsymbol{\Sigma}}^{-1/2} – \boldsymbol{I_d} \|_1 \leq \varepsilon d^{1-\beta}$ (where $\|\cdot\|_1$ denotes the entrywise $\ell_1$ norm) for any $\beta > 0$, yielding a polynomial improvement over the advice-free setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google