Differentially Private Stochastic Convex Optimization in (Non)-Euclidean Space Revisited

要約

タイトル：非ユークリッド空間における差分プライバシーを持つ確率的凸最適化の再考

要約：
– 本論文では、ユークリッド空間と一般的な$\ell_p^d$空間における差分プライバシーを持つ確率的凸最適化（DP-SCO）の問題について再考する。
– 具体的には、未だ十分に理解されていない3つの設定に焦点を当てる：(1)ユークリッド空間での制約された有界（凸）集合に対するDP-SCO、(2)$\ell_p^d$空間での制約のないDP-SCO、(3) $\ell_p^d$空間での重尾度データに対する制約された有界集合でのDP-SCO。
– 問題（1）について、凸損失関数と強凸損失関数の両方について、出力が期待値超過大集団リスクを達成する方法を提案し、そのリスクは空間の次元ではなく、制約集合のガウス幅にのみ依存するという結果を示す。さらに、強凸関数についてのバウンドは対数因子を除いて最適であることも示す。
– 問題（2）および（3）について、$1要約(オリジナル)

In this paper, we revisit the problem of Differentially Private Stochastic Convex Optimization (DP-SCO) in Euclidean and general $\ell_p^d$ spaces. Specifically, we focus on three settings that are still far from well understood: (1) DP-SCO over a constrained and bounded (convex) set in Euclidean space; (2) unconstrained DP-SCO in $\ell_p^d$ space; (3) DP-SCO with heavy-tailed data over a constrained and bounded set in $\ell_p^d$ space. For problem (1), for both convex and strongly convex loss functions, we propose methods whose outputs could achieve (expected) excess population risks that are only dependent on the Gaussian width of the constraint set rather than the dimension of the space. Moreover, we also show the bound for strongly convex functions is optimal up to a logarithmic factor. For problems (2) and (3), we propose several novel algorithms and provide the first theoretical results for both cases when $1arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI