On the Benefits of Accelerated Optimization in Robust and Private Estimation

要約

我々は、加速勾配法、特にFrank-Wolfe法と投影勾配降下法に基づく、プライバシーと重尾行ロバスト性に対する利点について研究する。我々のアプローチは以下の通りである：Frank-Wolfe法に対して、我々の手法は、調整された学習率と制約集合上の$ell_2$ノルムの勾配の一様な下界に基づく。投影勾配降下を加速するために、Nesterovの運動量に基づく一般的な変法を用い、$mathbb{R}^p$上で目的を最適化する。これらの高速化により、反復の複雑さが減少し、経験的リスク最小化と集団リスク最小化の統計的保証が強化される。我々の解析は、非ランダムデータ、ランダムモデルフリーデータ、パラメトリックモデル（線形回帰と一般化線形モデル）の3つの設定をカバーする。方法論的には、ノイズの多い勾配に基づくプライバシーと頑健性の両方にアプローチする。ガウスメカニズムと高度な合成により差分プライバシーを確保し、幾何学的な平均中央値推定器を用いてヘビーテールの頑健性を実現し、共変量の次元依存性を鋭くする。最後に、本手法を既存の境界と比較し、本手法が最適収束を達成するシナリオを特定する。

要約(オリジナル)

We study the advantages of accelerated gradient methods, specifically based on the Frank-Wolfe method and projected gradient descent, for privacy and heavy-tailed robustness. Our approaches are as follows: For the Frank-Wolfe method, our technique is based on a tailored learning rate and a uniform lower bound on the gradient of the $\ell_2$-norm over the constraint set. For accelerating projected gradient descent, we use the popular variant based on Nesterov’s momentum, and we optimize our objective over $\mathbb{R}^p$. These accelerations reduce iteration complexity, translating into stronger statistical guarantees for empirical and population risk minimization. Our analysis covers three settings: non-random data, random model-free data, and parametric models (linear regression and generalized linear models). Methodologically, we approach both privacy and robustness based on noisy gradients. We ensure differential privacy via the Gaussian mechanism and advanced composition, and we achieve heavy-tailed robustness using a geometric median-of-means estimator, which also sharpens the dependency on the dimension of the covariates. Finally, we compare our rates to existing bounds and identify scenarios where our methods attain optimal convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL