ExpM+NF: Differentially Private Machine Learning that Surpasses DPSGD

要約

この先駆的な研究では、Exponential Mechanism (ExpM) と
補助的な正規化フロー (NF)。
私たちは、差分プライベート ML の最先端 (SOTA) で事実上の手法である差分プライベート確率勾配降下法 (DPSGD) に対する ExpM+NF の理論上の利点を明確にし、SOTA を使用して DPSGD に対して ExpM+NF を実証的にテストします。
ロジスティック回帰と、約 20,000 ～ 100,000 のパラメーターを持つ深層学習リカレント ニューラル ネットワークである GRU-D を使用して、成人データセット (国勢調査データ) と MIMIC-III データセット (電子医療記録) の複数の分類タスクに実装 (PRV 会計を備えた Opacus) を実行します。
すべての実験において、ExpM+NF は $\varepsilon \in [1\mathrm{e}{-3}, 1]$ の非プライベート トレーニング精度 (AUC) の 93% 以上を達成し、より高い精度 (より高い AUC) を示しました。
) とプライバシー ($\delta=0$ で $\varepsilon$ が DPSGD よりも低い)。
差分プライベート ML は通常、妥当な精度を維持するために $\varepsilon \in [1,10]$ を考慮します。
したがって、桁違いに優れたプライバシー ($\varepsilon$ が小さい) に対して強力な精度を提供する ExpM+NF の機能は、差分プライベート ML で現在可能であることを大幅に押し上げます。
トレーニング時間の結果は、ExpM+NF が DPSGD に匹敵する (わずかに速い) ことを示しています。
これらの実験のコードはレビュー後に提供されます。
制限事項と今後の方向性が示されています。

要約(オリジナル)

In this pioneering work we formulate ExpM+NF, a method for training machine learning (ML) on private data with pre-specified differentially privacy guarantee $\varepsilon>0, \delta=0$, by using the Exponential Mechanism (ExpM) and an auxiliary Normalizing Flow (NF). We articulate theoretical benefits of ExpM+NF over Differentially Private Stochastic Gradient Descent (DPSGD), the state-of-the-art (SOTA) and de facto method for differentially private ML, and we empirically test ExpM+NF against DPSGD using the SOTA implementation (Opacus with PRV accounting) in multiple classification tasks on the Adult Dataset (census data) and MIMIC-III Dataset (electronic healthcare records) using Logistic Regression and GRU-D, a deep learning recurrent neural network with ~20K-100K parameters. In all experiments, ExpM+NF achieves greater than 93% of the non-private training accuracy (AUC) for $\varepsilon \in [1\mathrm{e}{-3}, 1]$, exhibiting greater accuracy (higher AUC) and privacy (lower $\varepsilon$ with $\delta=0$) than DPSGD. Differentially private ML generally considers $\varepsilon \in [1,10]$ to maintain reasonable accuracy; hence, ExpM+NF’s ability to provide strong accuracy for orders of magnitude better privacy (smaller $\varepsilon$) substantially pushes what is currently possible in differentially private ML. Training time results are presented showing ExpM+NF is comparable to (slightly faster) than DPSGD. Code for these experiments will be provided after review. Limitations and future directions are provided.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google