Privacy Amplification via Compression: Achieving the Optimal Privacy-Accuracy-Communication Trade-off in Distributed Mean Estimation

要約

タイトル：Privacy Amplification via Compression：分散平均推定における最適なプライバシー-精度-通信のトレードオフを達成する

要約：
– Privacyとcommunication制約は、Federated Learning（FL）とAnalytics（FA）において2つの主要な瓶詰め要因であり、これらの制約下での平均と頻度推定（それぞれFLおよびFAの典型的なモデル）の最適精度を、結合した通信と（ε、δ）-差分プライバシー（DP）制約の下で研究することを目的としています。
– ε、δ-DPの下で最適エラーを達成するためには、各クライアントがFLに対してはΘ（nmin（ε、ε2））ビット、FAに対してはΘ（log（nmin（ε、ε2）））ビットをサーバーに送信すれば十分です。
* n：参加するクライアントの数
* d：FLにおいてはトレーニング可能なパラメータの数、FAにおいてはドメインサイズに対応する
– 圧縮なしでは、平均および頻度推定問題に対して、それぞれクライアントごとにO（d）ビットおよびlog dビットが必要であり、多くの場合実際に関連する領域であるregime nmin（ε、ε2）= o（d）では著しい節約が得られます。
– アルゴリズムは、プライバシー増幅のために圧縮を利用しています。女性の場合、各クライアントがサンプルについての部分的な情報のみを通信する場合、ランダムに各クライアントが貢献するパートを選択することでプライバシーを増幅できることを示します。

要約(オリジナル)

Privacy and communication constraints are two major bottlenecks in federated learning (FL) and analytics (FA). We study the optimal accuracy of mean and frequency estimation (canonical models for FL and FA respectively) under joint communication and $(\varepsilon, \delta)$-differential privacy (DP) constraints. We show that in order to achieve the optimal error under $(\varepsilon, \delta)$-DP, it is sufficient for each client to send $\Theta\left( n \min\left(\varepsilon, \varepsilon^2\right)\right)$ bits for FL and $\Theta\left(\log\left( n\min\left(\varepsilon, \varepsilon^2\right) \right)\right)$ bits for FA to the server, where $n$ is the number of participating clients. Without compression, each client needs $O(d)$ bits and $\log d$ bits for the mean and frequency estimation problems respectively (where $d$ corresponds to the number of trainable parameters in FL or the domain size in FA), which means that we can get significant savings in the regime $ n \min\left(\varepsilon, \varepsilon^2\right) = o(d)$, which is often the relevant regime in practice. Our algorithms leverage compression for privacy amplification: when each client communicates only partial information about its sample, we show that privacy can be amplified by randomly selecting the part contributed by each client.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI