Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differential Privacy

要約

線形相関ノイズの下での勾配降下法を研究します。
私たちの研究は、DP-FTRL などの差分プライバシー (DP) を使用した最適化のための最近の実用的な手法によって動機付けられており、プライバシー増幅技術が実行不可能な設定 (フェデレーテッド ラーニングなど) で強力なパフォーマンスを実現します。
これらの方法では、行列分解メカニズムを通じてプライバシー ノイズを注入し、繰り返しを通じてノイズを線形に相関させます。
これらの方法の主要な側面を抽出し、線形相関ノイズの影響を分離する簡素化された設定を提案します。
凸関数と非凸関数の両方について、この設定での勾配降下の挙動を分析します。
私たちの分析は明らかに以前の研究より厳密であり、複数の重要な特殊なケース (逆相関摂動勾配降下法を含む) を正確に復元します。
私たちはその結果を使用して、差分プライベート最適化のための新しい効果的な行列因数分解を開発し、これらの因数分解の利点を理論的および経験的に強調します。

要約(オリジナル)

We study gradient descent under linearly correlated noise. Our work is motivated by recent practical methods for optimization with differential privacy (DP), such as DP-FTRL, which achieve strong performance in settings where privacy amplification techniques are infeasible (such as in federated learning). These methods inject privacy noise through a matrix factorization mechanism, making the noise linearly correlated over iterations. We propose a simplified setting that distills key facets of these methods and isolates the impact of linearly correlated noise. We analyze the behavior of gradient descent in this setting, for both convex and non-convex functions. Our analysis is demonstrably tighter than prior work and recovers multiple important special cases exactly (including anticorrelated perturbed gradient descent). We use our results to develop new, effective matrix factorizations for differentially private optimization, and highlight the benefits of these factorizations theoretically and empirically.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google