Personalized Differential Privacy for Ridge Regression

要約

機密性の高い領域での機械学習 (ML) の適用が増加しているため、差分プライバシー (DP) などのプライバシー フレームワークを通じてトレーニング データを保護する必要があります。
DP では、データセット全体の各データ ポイントが許容できる最大のプライバシー損失を表す均一なプライバシー レベル $\varepsilon$ を指定する必要があります。
しかし、実際には、データ ポイントが異なればプライバシー要件も異なることがよくあります。
1 つの均一なプライバシー レベルを設定しなければならないことは通常制限が厳しすぎるため、多くの場合、学習者は正確性を犠牲にして厳しいプライバシー要件を保証する必要があります。
この制限を克服するために、データ ポイントごとの個別のプライバシー レベルでリッジ回帰モデルをトレーニングできる新しい Personalized-DP Output Perturbation メソッド (PDP-OP) を導入します。
当社は、PDP-OP の厳格なプライバシー証明と、結果として得られるモデルの精度保証を提供します。
以前の研究では経験的な評価のみが提供されていたのに対し、この研究は機械学習におけるパーソナライズされた DP に関してそのような理論的な精度保証を提供する最初の研究です。
私たちは、合成データセットと実際のデータセット、および多様なプライバシー分布を使用して PDP-OP を経験的に評価します。
各データ ポイントが独自のプライバシー要件を指定できるようにすることで、DP におけるプライバシーと精度のトレードオフを大幅に改善できることを示します。
また、PDP-OP が Jorgensen らの個人化されたプライバシー技術よりも優れていることも示します。
（2015年）。

要約(オリジナル)

The increased application of machine learning (ML) in sensitive domains requires protecting the training data through privacy frameworks, such as differential privacy (DP). DP requires to specify a uniform privacy level $\varepsilon$ that expresses the maximum privacy loss that each data point in the entire dataset is willing to tolerate. Yet, in practice, different data points often have different privacy requirements. Having to set one uniform privacy level is usually too restrictive, often forcing a learner to guarantee the stringent privacy requirement, at a large cost to accuracy. To overcome this limitation, we introduce our novel Personalized-DP Output Perturbation method (PDP-OP) that enables to train Ridge regression models with individual per data point privacy levels. We provide rigorous privacy proofs for our PDP-OP as well as accuracy guarantees for the resulting model. This work is the first to provide such theoretical accuracy guarantees when it comes to personalized DP in machine learning, whereas previous work only provided empirical evaluations. We empirically evaluate PDP-OP on synthetic and real datasets and with diverse privacy distributions. We show that by enabling each data point to specify their own privacy requirement, we can significantly improve the privacy-accuracy trade-offs in DP. We also show that PDP-OP outperforms the personalized privacy techniques of Jorgensen et al. (2015).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google