Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation

要約

差分プライベート分散平均推定 (DP-DME) はプライバシーを保護する連合学習の基本的な構成要素であり、中央サーバーが $(\epsilon,\ を保証しながら $n$ ユーザーが保持する $d$ 次元ベクトルの平均を推定します)
デルタ)$-DP。
ローカル差分プライバシー (LDP) とセキュア アグリゲーション (SA) を備えた分散 DP は、信頼できないサーバーを使用した DP-DME 設定で使用される DP の最も一般的な概念です。
LDP は、脱落者、共謀ユーザー、および敵対的攻撃に対する強力な回復力を提供しますが、実用性が低いという欠点があります。
対照的に、SA ベースの DP-DME は、DME でLDP よりも $O(n)$ のユーティリティ利得を達成しますが、通信と計算のオーバーヘッドが増加し、ドロップアウトと攻撃を処理するために複雑なマルチラウンド プロトコルが必要になります。
この研究では、LDP および SA ベースのメカニズムを極端なケースとして捉える DP-DME の一般化されたフレームワークを紹介します。
私たちのフレームワークは、ユーザー間で相関するプライバシー メカニズムを活用するさまざまな DP-DME プロトコルを開発および分析するための基盤を提供します。
この目的を達成するために、我々は、LDP を備えた DME と分散型 DP の間のギャップを埋める、相関ガウス メカニズムに基づく新しい DP-DME メカニズムである CorDP-DME を提案します。
CorDP-DME が有用性と脱落や共謀に対する回復力との間で好ましいバランスを提供することを証明します。
CorDP-DME の情報理論分析を提供し、特定のプライバシー パラメーターおよびドロップアウト/共謀ユーザーのしきい値の下での実用性の理論的保証を導き出します。
私たちの結果は、（逆）相関ガウス DP メカニズムが、分散 DP と比較してドロップアウトや攻撃に対する優れた回復力を維持しながら、敵対的な設定であっても、LDP と比較して平均推定タスクの有用性を大幅に向上できることを示しています。

要約(オリジナル)

Differentially private distributed mean estimation (DP-DME) is a fundamental building block in privacy-preserving federated learning, where a central server estimates the mean of $d$-dimensional vectors held by $n$ users while ensuring $(\epsilon,\delta)$-DP. Local differential privacy (LDP) and distributed DP with secure aggregation (SA) are the most common notions of DP used in DP-DME settings with an untrusted server. LDP provides strong resilience to dropouts, colluding users, and adversarial attacks, but suffers from poor utility. In contrast, SA-based DP-DME achieves an $O(n)$ utility gain over LDP in DME, but requires increased communication and computation overheads and complex multi-round protocols to handle dropouts and attacks. In this work, we present a generalized framework for DP-DME, that captures LDP and SA-based mechanisms as extreme cases. Our framework provides a foundation for developing and analyzing a variety of DP-DME protocols that leverage correlated privacy mechanisms across users. To this end, we propose CorDP-DME, a novel DP-DME mechanism based on the correlated Gaussian mechanism, that spans the gap between DME with LDP and distributed DP. We prove that CorDP-DME offers a favorable balance between utility and resilience to dropout and collusion. We provide an information-theoretic analysis of CorDP-DME, and derive theoretical guarantees for utility under any given privacy parameters and dropout/colluding user thresholds. Our results demonstrate that (anti) correlated Gaussian DP mechanisms can significantly improve utility in mean estimation tasks compared to LDP — even in adversarial settings — while maintaining better resilience to dropouts and attacks compared to distributed DP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google