Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight

要約

ディープラーニングの領域では、モデルの有用性を維持しながら機密データを保護するという課題が重要です。
Differentially Private Stochastic Gradient Descent (DP-SGD) などの従来の差分プライバシー (DP) 技術は、通常、直接またはサンプルごとの適応型勾配クリッピングなどの戦略を採用します。
ただし、これらの方法は、勾配処理に重大な影響を与えるため、特に後のトレーニング段階での小さな勾配の大きな寄与が無視されるため、モデルの精度が損なわれます。
このペーパーでは、Differentially Private Per-sample Adaptive Scaling Clipping (DP-PSASC) という名前の DP-SGD の拡張バージョンを紹介します。
このアプローチは、従来のクリッピングを非単調な適応勾配スケーリングに置き換えます。これにより、集中的なしきい値設定の必要性が軽減され、小さな勾配の不均衡な重み付けが修正されます。
私たちの貢献は 2 つあります。
まず、勾配、特に小さな勾配に適切な重みを効果的に割り当てる新しい勾配スケーリング手法を開発し、差分プライバシーの下での学習を改善します。
次に、運動量ベースの手法を DP-PSASC に統合して、確率的サンプリングによるバイアスを軽減し、収束率を高めます。
私たちの理論的および実証的分析により、DP-PSASC がプライバシーを保護し、さまざまなデータセットにわたって優れたパフォーマンスを提供し、プライバシーに敏感なアプリケーションの新しい標準を確立することが確認されています。

要約(オリジナル)

In the domain of deep learning, the challenge of protecting sensitive data while maintaining model utility is significant. Traditional Differential Privacy (DP) techniques such as Differentially Private Stochastic Gradient Descent (DP-SGD) typically employ strategies like direct or per-sample adaptive gradient clipping. These methods, however, compromise model accuracy due to their critical influence on gradient handling, particularly neglecting the significant contribution of small gradients during later training stages. In this paper, we introduce an enhanced version of DP-SGD, named Differentially Private Per-sample Adaptive Scaling Clipping (DP-PSASC). This approach replaces traditional clipping with non-monotonous adaptive gradient scaling, which alleviates the need for intensive threshold setting and rectifies the disproportionate weighting of smaller gradients. Our contribution is twofold. First, we develop a novel gradient scaling technique that effectively assigns proper weights to gradients, particularly small ones, thus improving learning under differential privacy. Second, we integrate a momentum-based method into DP-PSASC to reduce bias from stochastic sampling, enhancing convergence rates. Our theoretical and empirical analyses confirm that DP-PSASC preserves privacy and delivers superior performance across diverse datasets, setting new standards for privacy-sensitive applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google