Correlated Privacy Mechanisms for Differentially Private Distributed Mean Estimation

要約

差分プライバシ分散平均推定(DP-DME)は、プライバシを保護する連合学習における基本的な構成要素であり、中央サーバが$(˶‾ε,˶)$-DPを保証しながら$n$ユーザが持つ$d$次元ベクトルの平均を推定する。ローカルディファレンシャルプライバシー(LDP)とセキュアアグリゲーション付き分散DP(SecAgg)は、信頼できないサーバを持つDP-DME設定で使用されるDPの最も一般的な概念である。LDPは、脱落、共謀ユーザ、悪意のあるサーバからの攻撃に強い耐性を持つが、実用性に乏しいという問題がある。これに対して、SecAggに基づくDP-DMEは、DMEにおいてLDPより$O(n)$高い効用を達成するが、通信と計算のオーバーヘッドが増加し、脱落や悪意ある攻撃を処理するために複雑なマルチラウンドプロトコルが必要となる。本研究では、CorDP-DMEを提案する。CorDP-DMEは、LDPを用いたDMEと分散DPの間のギャップを埋める新しいDP-DMEメカニズムであり、効用と脱落や結託に対する耐性のバランスを提供する。CorDP-DMEは相関ガウスノイズに基づいており、SecAggベースのアプローチのような完全な条件付きプライバシー保証なしにDPを保証する。我々は、CorDP-DMEの情報理論的な分析を行い、任意のプライバシーパラメータとドロップアウト/共謀ユーザーの閾値の下での効用に関する理論的な保証を導出する。我々の結果は、(反)相関ガウスDPメカニズムが、分散DPと比較して、脱落や攻撃に対する耐性を維持しながら、敵対的な設定においても、LDPと比較して、平均推定タスクにおける効用を大幅に改善できることを示している。

要約(オリジナル)

Differentially private distributed mean estimation (DP-DME) is a fundamental building block in privacy-preserving federated learning, where a central server estimates the mean of $d$-dimensional vectors held by $n$ users while ensuring $(\epsilon,\delta)$-DP. Local differential privacy (LDP) and distributed DP with secure aggregation (SecAgg) are the most common notions of DP used in DP-DME settings with an untrusted server. LDP provides strong resilience to dropouts, colluding users, and malicious server attacks, but suffers from poor utility. In contrast, SecAgg-based DP-DME achieves an $O(n)$ utility gain over LDP in DME, but requires increased communication and computation overheads and complex multi-round protocols to handle dropouts and malicious attacks. In this work, we propose CorDP-DME, a novel DP-DME mechanism that spans the gap between DME with LDP and distributed DP, offering a favorable balance between utility and resilience to dropout and collusion. CorDP-DME is based on correlated Gaussian noise, ensuring DP without the perfect conditional privacy guarantees of SecAgg-based approaches. We provide an information-theoretic analysis of CorDP-DME, and derive theoretical guarantees for utility under any given privacy parameters and dropout/colluding user thresholds. Our results demonstrate that (anti) correlated Gaussian DP mechanisms can significantly improve utility in mean estimation tasks compared to LDP — even in adversarial settings — while maintaining better resilience to dropouts and attacks compared to distributed DP.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL