Correlated Noise Provably Beats Independent Noise for Differentially Private Learning

要約

差分プライベート学習アルゴリズムは、学習プロセスにノイズを注入します。
最も一般的なプライベート学習アルゴリズムである DP-SGD は、反復ごとに独立したガウス ノイズを追加しますが、行列因数分解メカニズムに関する最近の研究では、ノイズに相関を導入することでその有用性が大幅に向上することが経験的に示されています。
相関関数の任意の選択に対する漸近学習ユーティリティを特徴付け、線形回帰の正確な分析限界を与え、一般の凸関数の凸プログラムの解として提供します。
これらの境界を使用して、有効次元や条件数などの問題パラメーターの関数として相関ノイズがバニラ DP-SGD よりもどのように改善されるかを示します。
さらに、最適に近い相関関数の解析式は、以前の研究でノイズ相関行列を最適化するために使用された半定値プログラムの 3 次複雑さを回避します。
プライベートディープラーニングの実験で理論を検証します。
私たちの仕事は、コンピューティングとメモリの両方の点で効率的でありながら、以前の仕事と同等またはそれを上回っています。

要約(オリジナル)

Differentially private learning algorithms inject noise into the learning process. While the most common private learning algorithm, DP-SGD, adds independent Gaussian noise in each iteration, recent work on matrix factorization mechanisms has shown empirically that introducing correlations in the noise can greatly improve their utility. We characterize the asymptotic learning utility for any choice of the correlation function, giving precise analytical bounds for linear regression and as the solution to a convex program for general convex functions. We show, using these bounds, how correlated noise provably improves upon vanilla DP-SGD as a function of problem parameters such as the effective dimension and condition number. Moreover, our analytical expression for the near-optimal correlation function circumvents the cubic complexity of the semi-definite program used to optimize the noise correlation matrix in previous work. We validate our theory with experiments on private deep learning. Our work matches or outperforms prior work while being efficient both in terms of compute and memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google