Nearly Tight Black-Box Auditing of Differentially Private Machine Learning

要約

このペーパーでは、以前の研究よりも大幅に厳密なブラックボックス脅威モデルにおける差分プライベート確率勾配降下 (DP-SGD) アルゴリズムの監査手順を示します。
DP-SGD のプライバシー分析は初期モデル パラメーターの選択に依存しないため、主な直感は最悪の場合の初期モデル パラメーターを作成することです。
MNIST と CIFAR-10 で理論的な $\varepsilon=10.0$ でトレーニングされたモデルの場合、監査手順により、1,000 レコードのサンプルと $\varepsilon_ でそれぞれ $\varepsilon_{emp} = 7.21$ と $6.95$ の経験的推定値が得られます。
{emp}= 完全なデータセットでは 6.48$ と $4.96$。
対照的に、以前の監査は、攻撃者がモデルの内部パラメータにアクセスして任意の勾配を挿入できる、より強力なホワイトボックス モデルでのみ（比較的）厳密でした。
全体として、当社の監査手順は、DP-SGD のプライバシー分析をどのように改善し、実際の実装におけるバグや DP 違反を検出できるかについて貴重な洞察を提供します。
実験を再現するために必要なソース コードは、https://github.com/spalabucr/bb-audit-dpsgd で入手できます。

要約(オリジナル)

This paper presents an auditing procedure for the Differentially Private Stochastic Gradient Descent (DP-SGD) algorithm in the black-box threat model that is substantially tighter than prior work. The main intuition is to craft worst-case initial model parameters, as DP-SGD’s privacy analysis is agnostic to the choice of the initial model parameters. For models trained on MNIST and CIFAR-10 at theoretical $\varepsilon=10.0$, our auditing procedure yields empirical estimates of $\varepsilon_{emp} = 7.21$ and $6.95$, respectively, on a 1,000-record sample and $\varepsilon_{emp}= 6.48$ and $4.96$ on the full datasets. By contrast, previous audits were only (relatively) tight in stronger white-box models, where the adversary can access the model’s inner parameters and insert arbitrary gradients. Overall, our auditing procedure can offer valuable insight into how the privacy analysis of DP-SGD could be improved and detect bugs and DP violations in real-world implementations. The source code needed to reproduce our experiments is available at https://github.com/spalabucr/bb-audit-dpsgd.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google