Generalizing DP-SGD with Shuffling and Batch Clipping

要約

従来の差分プライベート DP-SGD は、ランダム サブサンプリングを使用した個別のクリッピングを実装しており、これによりミニバッチ SGD アプローチが強制されます。
当社は、DP-SGD を超え、あらゆる可能な一次オプティマイザー (古典的な SGD や運動量ベースの SGD アプローチなど) をバッチ クリッピングと組み合わせて使用​​できる、一般的な差分プライベート アルゴリズム フレームワークを提供します。バッチ クリッピングでは、クリップされた勾配を合計するのではなく、計算された勾配の集合体をクリップします。
(個別のクリッピングで行われるように)。
このフレームワークでは、シャッフルなどのランダム サブサンプリングを超えたサンプリング手法も認められています。
私たちの DP 分析は $f$-DP アプローチに従い、単純な閉じた形式の式を導き出し、グループのプライバシーも分析できる新しい証明手法を導入しています。
特に、$E$ エポックの作業とサイズ $g$ のグループの場合、シャッフルを伴うバッチ クリッピングに対する $\sqrt{g E}$ DP 依存関係を示します。

要約(オリジナル)

Classical differential private DP-SGD implements individual clipping with random subsampling, which forces a mini-batch SGD approach. We provide a general differential private algorithmic framework that goes beyond DP-SGD and allows any possible first order optimizers (e.g., classical SGD and momentum based SGD approaches) in combination with batch clipping, which clips an aggregate of computed gradients rather than summing clipped gradients (as is done in individual clipping). The framework also admits sampling techniques beyond random subsampling such as shuffling. Our DP analysis follows the $f$-DP approach and introduces a new proof technique which allows us to derive simple closed form expressions and to also analyse group privacy. In particular, for $E$ epochs work and groups of size $g$, we show a $\sqrt{g E}$ DP dependency for batch clipping with shuffling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google