Personalized DP-SGD using Sampling Mechanisms

要約

Trustworthy AI のディープラーニングでは、パーソナライズされたプライバシーが重要になります。
Differentially Private Stochastic Gradient Descent (DP-SGD) は、プライバシーをサポートする深層学習手法で広く使用されていますが、すべての個人に同じレベルのプライバシーを提供するため、過保護や有用性の低下につながる可能性があります。
実際には、異なるユーザーは異なるプライバシー レベルを必要とする可能性があり、プライバシー要件が低いユーザーに関するより多くの情報を使用することでモデルを改善できます。
DP-SGD を使用する場合の個人の差分プライバシーに関する最近の研究もありますが、それらは主に個人のプライバシー アカウンティングに関するものであり、さまざまなプライバシー レベルを満たすことに焦点を当てていません。
したがって、DP-SGD を拡張して、($\Phi$,$\Delta$)-Personalized Differential Privacy (($\Phi$,$\Delta$)-PDP) と呼ばれる最近のプライバシー概念をサポートします。これは、既存の PDP 概念を拡張します。
$\Phi$-PDP と呼ばれます。
私たちのアルゴリズムは、マルチラウンドのパーソナライズされたサンプリング メカニズムを使用し、それを DP-SGD 反復内に埋め込みます。
実際のデータセットでの実験では、埋め込まれたサンプリング メカニズムにより、モデルのパフォーマンスと効率の点で、私たちのアルゴリズムが DP-SGD および DP-SGD と既存の PDP メカニズムの単純な組み合わせよりも優れていることが示されています。

要約(オリジナル)

Personalized privacy becomes critical in deep learning for Trustworthy AI. While Differentially Private Stochastic Gradient Descent (DP-SGD) is widely used in deep learning methods supporting privacy, it provides the same level of privacy to all individuals, which may lead to overprotection and low utility. In practice, different users may require different privacy levels, and the model can be improved by using more information about the users with lower privacy requirements. There are also recent works on differential privacy of individuals when using DP-SGD, but they are mostly about individual privacy accounting and do not focus on satisfying different privacy levels. We thus extend DP-SGD to support a recent privacy notion called ($\Phi$,$\Delta$)-Personalized Differential Privacy (($\Phi$,$\Delta$)-PDP), which extends an existing PDP concept called $\Phi$-PDP. Our algorithm uses a multi-round personalized sampling mechanism and embeds it within the DP-SGD iterations. Experiments on real datasets show that our algorithm outperforms DP-SGD and simple combinations of DP-SGD with existing PDP mechanisms in terms of model performance and efficiency due to its embedded sampling mechanism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google