From Noisy Fixed-Point Iterations to Private ADMM for Centralized and Federated Learning

要約

私たちは、このよく研究されたフレームワークからプライバシーとユーティリティの結果を引き出すために、ノイズの多い固定小数点反復のインスタンスとして差分プライベート (DP) 機械学習アルゴリズムを研究します。
この新しい視点は、DP-SGD のような一般的なプライベート勾配ベースの手法を復元し、新しいプライベート最適化アルゴリズムを柔軟な方法で設計および分析するための原則に基づいた方法を提供することを示します。
広く使用されている Alternating Directions Method of Multipliers (ADMM) 手法に焦点を当て、一般的なフレームワークを使用して、集中型学習、連合型学習、および完全分散型学習のための新しいプライベート ADMM アルゴリズムを導き出します。
これら 3 つのアルゴリズムでは、反復およびサブサンプリングによるプライバシーの増幅を活用して、強力なプライバシーの保証を確立します。
最後に、ノイズの多い固定小数点反復に対する最近の線形収束結果を利用する統合分析を使用して、ユーティリティの保証を提供します。

要約(オリジナル)

We study differentially private (DP) machine learning algorithms as instances of noisy fixed-point iterations, in order to derive privacy and utility results from this well-studied framework. We show that this new perspective recovers popular private gradient-based methods like DP-SGD and provides a principled way to design and analyze new private optimization algorithms in a flexible manner. Focusing on the widely-used Alternating Directions Method of Multipliers (ADMM) method, we use our general framework to derive novel private ADMM algorithms for centralized, federated and fully decentralized learning. For these three algorithms, we establish strong privacy guarantees leveraging privacy amplification by iteration and by subsampling. Finally, we provide utility guarantees using a unified analysis that exploits a recent linear convergence result for noisy fixed-point iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google