DP-SGD-Global-Adapt-V2-S: Triad Improvements of Privacy, Accuracy and Fairness via Step Decay Noise Multiplier and Step Decay Upper Clipping Threshold

要約

差別的に私的な確率的勾配降下（DP-SGD）は、ディープラーニングアプリケーションで機密情報を保護するための広く使用されている技術となっています。
残念ながら、トレーニング中のDPSGDのサンプルごとの勾配クリッピングと均一なノイズの追加は、モデルの有用性と公平性を大幅に低下させる可能性があります。
最新のDP-SGD-Global-Adaptの平均勾配規範は、トレーニング全体で同じであることがわかります。
既存の線形減衰ノイズ乗数に統合されている場合でも、利点はほとんどまたはまったくありません。
さらに、その上部クリッピングしきい値がトレーニングの終了に向かって指数関数的に増加し、モデルの収束に影響を与える可能性があることに気付きます。
実験で実証されているように、他のアルゴリズム、DP-PSAC、AUTO-S、DP-SGD-Global、およびDP-Fには、DP-SGDと類似した、またはそれ以上のユーティリティと公平性があります。
これらの問題を克服し、効用と公平性を改善するために、DP-SGD-Global-Adapt-V2-Sを開発しました。
段階的なノイズ乗数と、段階的に減衰する上部クリッピングしきい値があります。
1のプライバシー予算（$ \ epsilon $）を備えたDP-SGD-Global-Adapt-V2-Sは、それぞれMNIST、CIFAR10、およびCIFAR100で0.9795 \％、0.6786 \％、4.0130 \％減少します。
また、不均衡なMnistおよびThinwallデータセットでそれぞれプライバシーコストギャップ（$ \ Pi $）を89.8332％および60.5541％削減します。
最後に、DP-SGD-Global-Adapt-V2-TおよびDP-SGD-Global-Adapt-V2-Sの切り捨てられた濃縮差別的プライバシー（TCDP）を使用して、プライバシー予算を計算する数学的表現を開発します。

要約(オリジナル)

Differentially Private Stochastic Gradient Descent (DP-SGD) has become a widely used technique for safeguarding sensitive information in deep learning applications. Unfortunately, DPSGD’s per-sample gradient clipping and uniform noise addition during training can significantly degrade model utility and fairness. We observe that the latest DP-SGD-Global-Adapt’s average gradient norm is the same throughout the training. Even when it is integrated with the existing linear decay noise multiplier, it has little or no advantage. Moreover, we notice that its upper clipping threshold increases exponentially towards the end of training, potentially impacting the models convergence. Other algorithms, DP-PSAC, Auto-S, DP-SGD-Global, and DP-F, have utility and fairness that are similar to or worse than DP-SGD, as demonstrated in experiments. To overcome these problems and improve utility and fairness, we developed the DP-SGD-Global-Adapt-V2-S. It has a step-decay noise multiplier and an upper clipping threshold that is also decayed step-wise. DP-SGD-Global-Adapt-V2-S with a privacy budget ($\epsilon$) of 1 improves accuracy by 0.9795\%, 0.6786\%, and 4.0130\% in MNIST, CIFAR10, and CIFAR100, respectively. It also reduces the privacy cost gap ($\pi$) by 89.8332% and 60.5541% in unbalanced MNIST and Thinwall datasets, respectively. Finally, we develop mathematical expressions to compute the privacy budget using truncated concentrated differential privacy (tCDP) for DP-SGD-Global-Adapt-V2-T and DP-SGD-Global-Adapt-V2-S.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google