Differentially Private Algorithms for the Stochastic Saddle Point Problem with Optimal Rates for the Strong Gap

要約

凸-凹リプシッツの確率的鞍点問題 (確率的ミニマックス最適化とも呼ばれる) が、\emph{strong (primal-dual) ギャップ} を伴う $(\epsilon,\delta)$-差分プライバシーの制約の下で解決できることを示します。
$\チルダ O\big(\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\epsilon}\big)$ のレート、ここで $n$ はデータセット サイズ、
$d$ は問題の次元です。
このレートは、差分プライベート確率最適化における既存の下限に基づいて、ほぼ最適です。
具体的には、鞍点問題に再利用された再帰正則化手法の新しい実装と分析を通じて、強いギャップの厳しい上限を証明します。
このレートは $O\big(\min\big\{\frac{n^2\epsilon^{1.5}}{\sqrt{d}}, n^{3/2}\big で達成できることを示します
\}\big)$ 勾配複雑度、および損失関数が滑らかな場合の $\tilde{O}(n)$ 勾配複雑度。
私たちの方法の副産物として、経験的目的に関して特定の $\alpha$ 原始双対精度保証を満たすサブルーチンへのブラックボックス アクセスが与えられた場合に、確率的鞍点の解を与える一般的なアルゴリズムを開発します。
$\tilde{O}(\alpha+\frac{1}{\sqrt{n}})$ という大きなギャップがある問題です。
この $\alpha$ 精度条件は、近位点法や確率的勾配降下法上昇アルゴリズムなどの経験的鞍点問題の標準アルゴリズムによって満たされることを示します。
さらに、単純な問題であっても、アルゴリズムが弱いギャップを持たず、$\Omega(1)$ の強いギャップに悩まされる可能性があることを示します。
また、安定性と精度の間には基本的なトレードオフが存在することも示します。
具体的には、$\Delta$ 安定アルゴリズムには経験的なギャップ $\Omega\big(\frac{1}{\Delta n}\big)$ があり、この限界は狭いことを示します。
この結果は、より具体的には経験的リスク最小化問題にも当てはまり、独立して興味深いものとなる可能性があります。

要約(オリジナル)

We show that convex-concave Lipschitz stochastic saddle point problems (also known as stochastic minimax optimization) can be solved under the constraint of $(\epsilon,\delta)$-differential privacy with \emph{strong (primal-dual) gap} rate of $\tilde O\big(\frac{1}{\sqrt{n}} + \frac{\sqrt{d}}{n\epsilon}\big)$, where $n$ is the dataset size and $d$ is the dimension of the problem. This rate is nearly optimal, based on existing lower bounds in differentially private stochastic optimization. Specifically, we prove a tight upper bound on the strong gap via novel implementation and analysis of the recursive regularization technique repurposed for saddle point problems. We show that this rate can be attained with $O\big(\min\big\{\frac{n^2\epsilon^{1.5}}{\sqrt{d}}, n^{3/2}\big\}\big)$ gradient complexity, and $\tilde{O}(n)$ gradient complexity if the loss function is smooth. As a byproduct of our method, we develop a general algorithm that, given a black-box access to a subroutine satisfying a certain $\alpha$ primal-dual accuracy guarantee with respect to the empirical objective, gives a solution to the stochastic saddle point problem with a strong gap of $\tilde{O}(\alpha+\frac{1}{\sqrt{n}})$. We show that this $\alpha$-accuracy condition is satisfied by standard algorithms for the empirical saddle point problem such as the proximal point method and the stochastic gradient descent ascent algorithm. Further, we show that even for simple problems it is possible for an algorithm to have zero weak gap and suffer from $\Omega(1)$ strong gap. We also show that there exists a fundamental tradeoff between stability and accuracy. Specifically, we show that any $\Delta$-stable algorithm has empirical gap $\Omega\big(\frac{1}{\Delta n}\big)$, and that this bound is tight. This result also holds also more specifically for empirical risk minimization problems and may be of independent interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google