From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning

要約

我々は、このよく研究された枠組みからプライバシーと有用性の結果を導き出すために、差分的私的（DP）機械学習アルゴリズムをノイズの多い固定点反復のインスタンスとして研究する。この新しい視点が、DP-SGDのような一般的な私的勾配に基づく手法を回復し、新しい私的最適化アルゴリズムを柔軟に設計・分析するための原理的な方法を提供することを示す。広く用いられている交互方向乗法（ADMM）法に焦点を当て、我々の一般的な枠組みを用いて、集中学習、連合学習、完全分散学習のための新しい私的ADMMアルゴリズムを導出する。これら3つのアルゴリズムについて、反復とサブサンプリングによるプライバシー増幅を活用した強力なプライバシー保証を確立する。最後に、ノイズの多い固定点反復に対する最近の線形収束の結果を利用した統一的な解析を用いて、効用保証を提供する。

要約(オリジナル)

We study differentially private (DP) machine learning algorithms as instances of noisy fixed-point iterations, in order to derive privacy and utility results from this well-studied framework. We show that this new perspective recovers popular private gradient-based methods like DP-SGD and provides a principled way to design and analyze new private optimization algorithms in a flexible manner. Focusing on the widely-used Alternating Directions Method of Multipliers (ADMM) method, we use our general framework to derive novel private ADMM algorithms for centralized, federated and fully decentralized learning. For these three algorithms, we establish strong privacy guarantees leveraging privacy amplification by iteration and by subsampling. Finally, we provide utility guarantees using a unified analysis that exploits a recent linear convergence result for noisy fixed-point iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL