Improving Differentially Private SGD via Randomly Sparsified Gradients

要約

差分プライベート確率的勾配降下法 (DP-SGD) は、厳密に定義されたプライバシーを提供するために深層学習で広く採用されています。これには、個々の勾配と加算等方性ガウス ノイズの最大ノルムを制限する勾配クリッピングが必要です。
非凸設定での DP-SGD の収束率の分析により、クリッピングとノイズ化の前にランダムに勾配をまばらにすることで、収束限界の内部成分間のトレードオフが調整され、ノイズが小さい場合には上限が小さくなることがわかりました。
支配的。
さらに、私たちの理論的分析と経験的評価は、ノイズ化のキャンセルまたは勾配クリッピングのいずれかによって境界内のトレードオフが排除されるため、トレードオフは自明ではなく、おそらく DP-SGD の固有の特性であることを示しています。
この観察は、DP-SGD が (単純にランダムであっても) 勾配圧縮のための特別な固有の余地を持っていることを示唆しているため、示唆的です。
観察を検証し、それを利用するために、ランダム スパース化 (RS) を使用して DP-SGD を強化する効率的で軽量な拡張を提案します。
さまざまな DP-SGD フレームワークを使用した実験により、RS がパフォーマンスを向上できることが示されています。
さらに、生成された RS の疎な勾配は、通信コストの削減と再構築攻撃に対するプライバシーの強化において利点を示します。これらはプライベート機械学習の重要な問題でもあります。

要約(オリジナル)

Differentially private stochastic gradient descent (DP-SGD) has been widely adopted in deep learning to provide rigorously defined privacy, which requires gradient clipping to bound the maximum norm of individual gradients and additive isotropic Gaussian noise. With analysis of the convergence rate of DP-SGD in a non-convex setting, we identify that randomly sparsifying gradients before clipping and noisification adjusts a trade-off between internal components of the convergence bound and leads to a smaller upper bound when the noise is dominant. Additionally, our theoretical analysis and empirical evaluations show that the trade-off is not trivial but possibly a unique property of DP-SGD, as either canceling noisification or gradient clipping eliminates the trade-off in the bound. This observation is indicative, as it implies DP-SGD has special inherent room for (even simply random) gradient compression. To verify the observation and utilize it, we propose an efficient and lightweight extension using random sparsification (RS) to strengthen DP-SGD. Experiments with various DP-SGD frameworks show that RS can improve performance. Additionally, the produced sparse gradients of RS exhibit advantages in reducing communication cost and strengthening privacy against reconstruction attacks, which are also key problems in private machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google