The Limits of Differential Privacy in Online Learning

要約

差動プライバシー（DP）は、プライバシーと有効性のトレードオフがプライベートデータ分析の中心的な問題の1つである機密データを実行する際に、アルゴリズムのプライバシー漏れを制限する正式な概念です。
この作業では、オンライン学習アルゴリズムの差別的なプライバシーの基本的な限界を調査し、DPなし、純粋なDP、および近似DPの3種類の制約を分離する証拠を提示します。
最初に、おおよそのDPの下でオンラインで学習できるが、適応性敵対的環境で純粋なDPで学習できないオンラインで学習できる仮説クラスについて説明します。
これは、適応性のある敵を扱う際に、近似DPを採用しなければならないことを示しています。
次に、プライベートオンライン学習者は、ほぼすべての仮説クラスに無限の数の間違いを犯さなければならないことを証明します。
これは本質的に以前の結果を一般的に一般化し、プライバシー要件がない場合に常に有限のミスと非プライベートの設定が常に達成可能であるため（クラスがオンラインで学習できる限り）、プライベートと非プライベートの設定を強く分離することを示しています。

要約(オリジナル)

Differential privacy (DP) is a formal notion that restricts the privacy leakage of an algorithm when running on sensitive data, in which privacy-utility trade-off is one of the central problems in private data analysis. In this work, we investigate the fundamental limits of differential privacy in online learning algorithms and present evidence that separates three types of constraints: no DP, pure DP, and approximate DP. We first describe a hypothesis class that is online learnable under approximate DP but not online learnable under pure DP under the adaptive adversarial setting. This indicates that approximate DP must be adopted when dealing with adaptive adversaries. We then prove that any private online learner must make an infinite number of mistakes for almost all hypothesis classes. This essentially generalizes previous results and shows a strong separation between private and non-private settings since a finite mistake bound is always attainable (as long as the class is online learnable) when there is no privacy requirement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google