DPIS: An Enhanced Mechanism for Differentially Private SGD with Importance Sampling

要約

現在、差分プライバシー (DP) はプライバシー保護の標準として広く受け入れられており、ディープ ニューラル ネットワーク (DNN) は機械学習において大きな成功を収めています。
これら 2 つの技術、つまり差分プライバシーを備えたディープ ラーニングの組み合わせにより、医療記録などの機密データを使用してトレーニングされた高実用モデルのプライバシーを保護したリリースが約束されます。
この目的のための古典的なメカニズムは DP-SGD です。これは、DNN トレーニングに一般的に使用される確率的勾配降下法 (SGD) オプティマイザーの差分プライベート バージョンです。
その後のアプローチにより、ノイズ減衰スケジュール、モデル アーキテクチャ、特徴量エンジニアリング、ハイパーパラメーター調整など、モデル トレーニング プロセスのさまざまな側面が改善されました。
ただし、SGD オプティマイザーで DP を強制するための中心的なメカニズムは、元の DP-SGD アルゴリズム以来変わっていません。これは、DP 準拠の機械学習ソリューションのパフォーマンスを制限する基本的な障壁となってきています。
これを動機として、私たちは、差分プライベート SGD トレーニングのための新しいメカニズムである DPIS を提案します。これは、DP-SGD のコア オプティマイザーのドロップイン代替として使用でき、後者よりも一貫して大幅な精度向上が得られます。
主なアイデアは、ミニバッチ選択の各 SGD 反復で重要度サンプリング (IS) を採用することです。これにより、サンプリングの分散と、DP を満たすために必要な勾配に注入されるランダム ノイズの量の両方が削減されます。
IS を DP-SGD の複雑な数学的機構に統合することは、非常に簡単ではありません。
DPIS は、新しいメカニズムの設計、きめ細かいプライバシー分析、効率の向上、適応勾配クリッピングの最適化を通じてこの課題に対処します。
4 つのベンチマーク データセット (MNIST、FMNIST、CIFAR-10、IMDb) に関する広範な実験により、差分プライバシーを備えたディープ ラーニングの既存のソリューションよりも DPIS の有効性が優れていることが実証されました。

要約(オリジナル)

Nowadays, differential privacy (DP) has become a well-accepted standard for privacy protection, and deep neural networks (DNN) have been immensely successful in machine learning. The combination of these two techniques, i.e., deep learning with differential privacy, promises the privacy-preserving release of high-utility models trained with sensitive data such as medical records. A classic mechanism for this purpose is DP-SGD, which is a differentially private version of the stochastic gradient descent (SGD) optimizer commonly used for DNN training. Subsequent approaches have improved various aspects of the model training process, including noise decay schedule, model architecture, feature engineering, and hyperparameter tuning. However, the core mechanism for enforcing DP in the SGD optimizer remains unchanged ever since the original DP-SGD algorithm, which has increasingly become a fundamental barrier limiting the performance of DP-compliant machine learning solutions. Motivated by this, we propose DPIS, a novel mechanism for differentially private SGD training that can be used as a drop-in replacement of the core optimizer of DP-SGD, with consistent and significant accuracy gains over the latter. The main idea is to employ importance sampling (IS) in each SGD iteration for mini-batch selection, which reduces both sampling variance and the amount of random noise injected to the gradients that is required to satisfy DP. Integrating IS into the complex mathematical machinery of DP-SGD is highly non-trivial. DPIS addresses the challenge through novel mechanism designs, fine-grained privacy analysis, efficiency enhancements, and an adaptive gradient clipping optimization. Extensive experiments on four benchmark datasets, namely MNIST, FMNIST, CIFAR-10 and IMDb, demonstrate the superior effectiveness of DPIS over existing solutions for deep learning with differential privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google