Sample-Efficient Private Learning of Mixtures of Gaussians

要約

近似差分プライバシーを備えたガウス分布の混合学習の問題を研究します。
$kd^2 + k^{1.5} d^{1.75} + k^2 d$ サンプルは、低い総変動距離までの $k$ 任意の $d$ 次元ガウス分布の混合を学習するのに十分であることを証明します。
差分プライバシー。
私たちの研究は以前の最良の結果 [AAL24b] (​​およそ $k^2 d^4$ サンプルを必要とした) よりも改善されており、$d$ が $k^2$ よりはるかに大きい場合に最適であることが証明されています。
さらに、$k$ 単変量 (つまり $1$ 次元) ガウスの混合をプライベートに学習するための最初の最適限界を与えます。
重要なのは、単変量ガウスの混合を非公開学習するためのサンプルの複雑さは成分 $k$ の数で線形であるのに対し、以前の最良のサンプルの複雑さ [AAL21] は $k$ で 2 次であったことを示します。
私たちのアルゴリズムは、逆感度メカニズム [AD20b、AD20a、HKMN23]、分布のサンプル圧縮 [ABDH+20]、合計のボリュームを制限する方法など、さまざまな手法を利用しています。

要約(オリジナル)

We study the problem of learning mixtures of Gaussians with approximate differential privacy. We prove that roughly $kd^2 + k^{1.5} d^{1.75} + k^2 d$ samples suffice to learn a mixture of $k$ arbitrary $d$-dimensional Gaussians up to low total variation distance, with differential privacy. Our work improves over the previous best result [AAL24b] (which required roughly $k^2 d^4$ samples) and is provably optimal when $d$ is much larger than $k^2$. Moreover, we give the first optimal bound for privately learning mixtures of $k$ univariate (i.e., $1$-dimensional) Gaussians. Importantly, we show that the sample complexity for privately learning mixtures of univariate Gaussians is linear in the number of components $k$, whereas the previous best sample complexity [AAL21] was quadratic in $k$. Our algorithms utilize various techniques, including the inverse sensitivity mechanism [AD20b, AD20a, HKMN23], sample compression for distributions [ABDH+20], and methods for bounding volumes of sumsets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google