Echo of Neighbors: Privacy Amplification for Personalized Private Federated Learning with Shuffle Model

要約

Federated Learning は、共同トレーニングの一般的なパラダイムとして、プライバシー攻撃に対して脆弱です。
ユーザーの態度に関するさまざまなプライバシー レベルをローカルで満たす必要がある一方で、グローバル モデルに対する厳格なプライバシー保証も中央で要求されます。
Personalized Local Differential Privacy (PLDP) は、ユーザーのさまざまなローカル プライバシーを保護するのに適していますが、最悪の場合のローカル プライバシー レベルと同等の集中的なプライバシー保証のみを提供します。
したがって、実用性が期待できるモデルを使用して、強力な中央プライバシーと個人化されたローカル プライバシーを実現することは、困難な問題です。
この研究では、シャッフル モデルのプライバシー増幅効果を利用して、個人化されたローカル プライバシーの下でモデルのプライバシーを強化するための一般的なフレームワーク (APES) が構築されます。
プライバシーの制限を強化するために、中央プライバシーに対するユーザーごとの異種の寄与を定量化します。
貢献度は、各ユーザーの摂動から「エコー」を生成する能力によって特徴付けられます。これは、提案された手法である近隣ダイバージェンスとクリップ ラプラス メカニズムによって慎重に測定されます。
さらに、高次元のシナリオにおけるプライバシーの損失を軽減するために、ポストスパース化技術を備えた洗練されたフレームワーク（S-APES）を提案します。
私たちの知る限り、パーソナライズされたローカル プライバシーに対するシャッフルの影響が初めて考慮されました。
強力なプライバシー増幅効果を提供し、均一なローカル プライバシーの既存の方法に基づくベースラインの結果よりも境界が厳しくなります。
実験により、私たちのフレームワークがグローバル モデルと同等以上の精度を保証することが実証されました。

要約(オリジナル)

Federated Learning, as a popular paradigm for collaborative training, is vulnerable against privacy attacks. Different privacy levels regarding users’ attitudes need to be satisfied locally, while a strict privacy guarantee for the global model is also required centrally. Personalized Local Differential Privacy (PLDP) is suitable for preserving users’ varying local privacy, yet only provides a central privacy guarantee equivalent to the worst-case local privacy level. Thus, achieving strong central privacy as well as personalized local privacy with a utility-promising model is a challenging problem. In this work, a general framework (APES) is built up to strengthen model privacy under personalized local privacy by leveraging the privacy amplification effect of the shuffle model. To tighten the privacy bound, we quantify the heterogeneous contributions to the central privacy user by user. The contributions are characterized by the ability of generating ‘echos’ from the perturbation of each user, which is carefully measured by proposed methods Neighbor Divergence and Clip-Laplace Mechanism. Furthermore, we propose a refined framework (S-APES) with the post-sparsification technique to reduce privacy loss in high-dimension scenarios. To the best of our knowledge, the impact of shuffling on personalized local privacy is considered for the first time. We provide a strong privacy amplification effect, and the bound is tighter than the baseline result based on existing methods for uniform local privacy. Experiments demonstrate that our frameworks ensure comparable or higher accuracy for the global model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google