Private Everlasting Prediction

要約

プライベート学習者は、ラベル付きポイントのサンプルでトレーニングされ、トレーニング セットのプライバシーを保護しながら、新しくサンプリングされたポイントのラベルを予測するために使用できる仮説を生成します [Kasiviswannathan et al.、FOCS 2008]。
研究により、プライベート学習者は、たとえば 1 次元の閾値関数の学習の場合と同様に、非プライベート学習者よりも大幅に高いサンプル複雑性を示す必要がある可能性があることが判明しました [Bun et al., FOCS 2015, Alon et al., STOC 2019]
。
私たちは学習に代わる予測を探ります。
仮説を提示する代わりに、予測子は一連の分類クエリに答えます。
以前の研究では、分類クエリが 1 つだけあるプライベート予測モデルが検討されていました [Dwork および Feldman、COLT 2018]。
一連のクエリに応答する場合、予測子は使用する仮説を時間の経過とともに変更する必要があり、さらに、この変更にはクエリを使用する必要があるため、クエリ自体に関して潜在的なプライバシー リスクが生じることが観察されています。
トレーニング セットと、予測子に対して行われる (適応的に選択された) クエリの両方のプライバシーを考慮した、プライベートな永久予測を導入します。
次に、PAC モデルにおけるプライベートの永久予測子の一般的な構築を提示します。
私たちの構築における最初のトレーニング サンプルのサンプル複雑さは、概念クラスの VC 次元で 2 次 (ポリログ因数まで) です。
私たちの構築により、有限の VC 次元を持つすべての概念クラス、特に、無限の領域にわたって考慮された場合でも、一定サイズの初期トレーニング サンプルを持つしきい値関数の予測が可能になります。一方、プライベートに学習するしきい値関数のサンプルの複雑さは関数として増加する必要があることが知られています。
ドメイン サイズが大きいため、無限のドメインでは不可能です。

要約(オリジナル)

A private learner is trained on a sample of labeled points and generates a hypothesis that can be used for predicting the labels of newly sampled points while protecting the privacy of the training set [Kasiviswannathan et al., FOCS 2008]. Research uncovered that private learners may need to exhibit significantly higher sample complexity than non-private learners as is the case with, e.g., learning of one-dimensional threshold functions [Bun et al., FOCS 2015, Alon et al., STOC 2019]. We explore prediction as an alternative to learning. Instead of putting forward a hypothesis, a predictor answers a stream of classification queries. Earlier work has considered a private prediction model with just a single classification query [Dwork and Feldman, COLT 2018]. We observe that when answering a stream of queries, a predictor must modify the hypothesis it uses over time, and, furthermore, that it must use the queries for this modification, hence introducing potential privacy risks with respect to the queries themselves. We introduce private everlasting prediction taking into account the privacy of both the training set and the (adaptively chosen) queries made to the predictor. We then present a generic construction of private everlasting predictors in the PAC model. The sample complexity of the initial training sample in our construction is quadratic (up to polylog factors) in the VC dimension of the concept class. Our construction allows prediction for all concept classes with finite VC dimension, and in particular threshold functions with constant size initial training sample, even when considered over infinite domains, whereas it is known that the sample complexity of privately learning threshold functions must grow as a function of the domain size and hence is impossible for infinite domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google