Private Distribution Learning with Public Data: The View from Sample Compression

要約

私たちは、公開データにアクセスしてプライベート分散学習の問題を研究します。
パブリック-プライベート学習と呼ばれるこのセットアップでは、$p の推定値を出力することを目的として、クラス $\mathcal Q$ に属する未知の分布 $p$ から抽出されたパブリックおよびプライベートのサンプルが学習者に与えられます。
$ プライベート サンプルに関してのみプライバシー制約 (ここでは純粋な差分プライバシー) を遵守します。
クラス $\mathcal Q$ の公私学習可能性は、$\mathcal Q$ のサンプル圧縮スキームの存在と、リスト学習と呼ばれる中間概念に関連していることを示します。
この接続を利用すると、(1) $\mathbb R^d$ にわたるガウス分布の以前の結果がほぼ復元されます。
(2) $\mathbb R^d$ 上のガウスの任意の $k$-混合のサンプル複雑さの上限、不可知論的で分布シフト耐性のある学習者の結果、および公共の閉包特性など、新しいものにつながります。
分布の混合物や積を取得した場合の個人的な学習可能性。
最後に、リスト学習への接続を通じて、$\mathbb R^d$ のガウスの場合、プライベート学習可能性には少なくとも $d$ の公開サンプルが必要であることを示します。これは既知の $d+1$ の上限に近い値です。
公開サンプル。

要約(オリジナル)

We study the problem of private distribution learning with access to public data. In this setup, which we refer to as public-private learning, the learner is given public and private samples drawn from an unknown distribution $p$ belonging to a class $\mathcal Q$, with the goal of outputting an estimate of $p$ while adhering to privacy constraints (here, pure differential privacy) only with respect to the private samples. We show that the public-private learnability of a class $\mathcal Q$ is connected to the existence of a sample compression scheme for $\mathcal Q$, as well as to an intermediate notion we refer to as list learning. Leveraging this connection: (1) approximately recovers previous results on Gaussians over $\mathbb R^d$; and (2) leads to new ones, including sample complexity upper bounds for arbitrary $k$-mixtures of Gaussians over $\mathbb R^d$, results for agnostic and distribution-shift resistant learners, as well as closure properties for public-private learnability under taking mixtures and products of distributions. Finally, via the connection to list learning, we show that for Gaussians in $\mathbb R^d$, at least $d$ public samples are necessary for private learnability, which is close to the known upper bound of $d+1$ public samples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google