Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses

要約

差分プライベート確率勾配降下法 (DP-SGD) は、勾配をプライベート化して一連の差分プライベート (DP) モデル パラメーターを生成する反復機械学習トレーニング アルゴリズムのファミリーです。
ほとんどのユーザーは最終モデルのプライバシーを保護することだけに興味がありますが、これは実際に DP モデルをトレーニングするために使用される標準ツールでもあります。
最後の反復を厳密に DP アカウンティングすると、同じプライバシー保証を維持しながら、必要なノイズの量が最小限に抑えられ、モデルの実用性が向上する可能性があります。
ただし、最終反復のアカウンティングは困難であり、既存の作業では、ほとんどの実装では満たされない強い前提が必要です。
これらには、(i) 勾配クリッピングを回避するために、グローバル感度定数が既知であると仮定することが含まれます。
(ii) 損失関数はリプシッツ関数または凸関数です。
(iii) 入力バッチはランダムにサンプリングされます。
この研究では、非現実的な仮定を一切排除し、データが周期的に走査され、勾配がクリップされ、最後のモデルのみがリリースされる DP-SGD の最も一般的に使用されるバリアントにプライバシー境界を提供します。
より具体的には、小さなステップサイズと損失関数のリプシッツ平滑性という現実的な仮定の下で、最後の反復に対する新しい Renyi 差分プライバシー (RDP) の上限を確立します。
また、目的関数の弱凸パラメータがゼロに近づき、クリッピングが実行されない場合、一般境界は特殊な場合の凸境界も回復します。
このアプローチ自体は、最後の反復境界に対して最適なトランスポート手法を利用します。これは、データが周期的に走査され、損失関数が非凸である場合、自明ではないタスクです。

要約(オリジナル)

Differentially-private stochastic gradient descent (DP-SGD) is a family of iterative machine learning training algorithms that privatize gradients to generate a sequence of differentially-private (DP) model parameters. It is also the standard tool used to train DP models in practice, even though most users are only interested in protecting the privacy of the final model. Tight DP accounting for the last iterate would minimize the amount of noise required while maintaining the same privacy guarantee and potentially increasing model utility. However, last-iterate accounting is challenging, and existing works require strong assumptions not satisfied by most implementations. These include assuming (i) the global sensitivity constant is known – to avoid gradient clipping; (ii) the loss function is Lipschitz or convex; and (iii) input batches are sampled randomly. In this work, we forego any unrealistic assumptions and provide privacy bounds for the most commonly used variant of DP-SGD, in which data is traversed cyclically, gradients are clipped, and only the last model is released. More specifically, we establish new Renyi differential privacy (RDP) upper bounds for the last iterate under realistic assumptions of small stepsize and Lipschitz smoothness of the loss function. Our general bounds also recover the special-case convex bounds when the weak-convexity parameter of the objective function approaches zero and no clipping is performed. The approach itself leverages optimal transport techniques for last iterate bounds, which is a nontrivial task when the data is traversed cyclically and the loss function is nonconvex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google