Mixtures of Gaussians are Privately Learnable with a Polynomial Number of Samples

要約

差分プライバシー (DP) の制約の下でガウスの混合を推定する問題を研究します。
私たちの主な結果は、$\text{poly}(k,d,1/\alpha,1/\varepsilon,\log(1/\delta))$ サンプルが $ 内の $k$ ガウスの混合を推定するのに十分であるということです。
$(\varepsilon, \delta)$-DP を満たしながら、合計変動距離 $\alpha$ まで \mathbb{R}^d$ になります。
これは、GMM で構造的な仮定を行わない問題の最初の有限サンプル複雑さの上限です。
この問題を解決するために、他のタスクにも役立つ可能性のある新しいフレームワークを考案します。
高いレベルでは、分布のクラス (ガウス分布など) が (1) リスト復号可能であり、(2) 総変動距離に関して「局所的に小さい」カバーを許容する場合 (Bun et al., 2021) を示します。
の場合、その混合物のクラスは個人的に学習可能になります。
この証明は、ガウス分布とは異なり、GMM は局所的に小さなカバーを認めないことを示す既知の障壁を回避しています (Aden-Ali et al., 2021b)。

要約(オリジナル)

We study the problem of estimating mixtures of Gaussians under the constraint of differential privacy (DP). Our main result is that $\text{poly}(k,d,1/\alpha,1/\varepsilon,\log(1/\delta))$ samples are sufficient to estimate a mixture of $k$ Gaussians in $\mathbb{R}^d$ up to total variation distance $\alpha$ while satisfying $(\varepsilon, \delta)$-DP. This is the first finite sample complexity upper bound for the problem that does not make any structural assumptions on the GMMs. To solve the problem, we devise a new framework which may be useful for other tasks. On a high level, we show that if a class of distributions (such as Gaussians) is (1) list decodable and (2) admits a ‘locally small” cover (Bun et al., 2021) with respect to total variation distance, then the class of its mixtures is privately learnable. The proof circumvents a known barrier indicating that, unlike Gaussians, GMMs do not admit a locally small cover (Aden-Ali et al., 2021b).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google