Faster Differentially Private Convex Optimization via Second-Order Methods

要約

微分プライベート (確率的) 勾配降下法は、凸設定と非凸設定の両方で DP プライベート機械学習の主力です。
プライバシーの制約がなければ、ニュートン法のような 2 次法は、勾配降下法のような 1 次法よりも速く収束します。
この研究では、損失関数からの二次情報を使用して DP 凸最適化を加速する可能性を調査します。
まず、Nesterov と Polyak の正則化 3 次ニュートン法のプライベート バリアントを開発し、凸型の損失関数のクラスに対して、アルゴリズムが二次収束し、最適な超過損失を達成することを示します。
次に、制約なしロジスティック回帰問題に対する実用的な 2 次 DP アルゴリズムを設計します。
私たちはアルゴリズムのパフォーマンスを理論的および経験的に研究しています。
経験的な結果は、当社のアルゴリズムが他のベースラインと比較して最高の超過損失を一貫して達成し、DP-GD/DP-SGD よりも 10 ～ 40 倍高速であることを示しています。

要約(オリジナル)

Differentially private (stochastic) gradient descent is the workhorse of DP private machine learning in both the convex and non-convex settings. Without privacy constraints, second-order methods, like Newton’s method, converge faster than first-order methods like gradient descent. In this work, we investigate the prospect of using the second-order information from the loss function to accelerate DP convex optimization. We first develop a private variant of the regularized cubic Newton method of Nesterov and Polyak, and show that for the class of strongly convex loss functions, our algorithm has quadratic convergence and achieves the optimal excess loss. We then design a practical second-order DP algorithm for the unconstrained logistic regression problem. We theoretically and empirically study the performance of our algorithm. Empirical results show our algorithm consistently achieves the best excess loss compared to other baselines and is 10-40x faster than DP-GD/DP-SGD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google