Mixtures of Gaussians are Privately Learnable with a Polynomial Number of Samples

要約

差分プライバシー (DP) の制約の下でガウスの混合を推定する問題を研究します。
私たちの主な結果は、$\tilde{O}(k^2 d^4 \log(1/\delta) / \alpha^2 \varepsilon)$ サンプルが $k$ ガウスの混合物を推定するのに十分であるということです。
$(\varepsilon, \delta)$-DPを満たすときの変動距離$\alpha$。
これは、GMM で構造的な仮定を行わない問題の最初の有限サンプル複雑さの上限です。
この問題を解決するために、他のタスクにも役立つ可能性のある新しいフレームワークを考案します。
高いレベルでは、分布のクラス (ガウス分布など) が (1) リスト復号可能で、(2) 総変動距離に関して「局所的に小さい」カバー [BKSW19] を許容する場合、次のクラスが得られることを示します。
その混合物は個人的に学ぶことができます。
この証明は、ガウス分布とは異なり、GMM が局所的に小さなカバーを許容しないことを示す既知の障壁を回避します [AAL21]。

要約(オリジナル)

We study the problem of estimating mixtures of Gaussians under the constraint of differential privacy (DP). Our main result is that $\tilde{O}(k^2 d^4 \log(1/\delta) / \alpha^2 \varepsilon)$ samples are sufficient to estimate a mixture of $k$ Gaussians up to total variation distance $\alpha$ while satisfying $(\varepsilon, \delta)$-DP. This is the first finite sample complexity upper bound for the problem that does not make any structural assumptions on the GMMs. To solve the problem, we devise a new framework which may be useful for other tasks. On a high level, we show that if a class of distributions (such as Gaussians) is (1) list decodable and (2) admits a ‘locally small” cover [BKSW19] with respect to total variation distance, then the class of its mixtures is privately learnable. The proof circumvents a known barrier indicating that, unlike Gaussians, GMMs do not admit a locally small cover [AAL21].

arxiv情報

提供元, 利用サービス

arxiv.jp, Google