The Effect of Quantization in Federated Learning: A Rényi Differential Privacy Perspective

要約

Federated Learning (FL) は、分散データを使用したプライバシー保護の機械学習に大きな期待を寄せる新たなパラダイムです。
プライバシーを強化するために、FL を差分プライバシー (DP) と組み合わせることができます。これには、モデルの重みにガウス ノイズが追加されます。
ただし、FL は、これらのモデルの重みを送信する際に大きな通信オーバーヘッドが発生するという重大な課題に直面しています。
この問題に対処するために、量子化が一般的に使用されます。
それにもかかわらず、量子化されたガウス ノイズの存在により、プライバシー保護を理解する際に複雑さが生じます。
この研究論文では、FL システムにおけるプライバシーに対する量子化の影響を調査します。
R\’enyi Differential Privacy (RDP) を使用して、量子化ガウス メカニズムのプライバシー保証を調べます。
量子化ガウス メカニズムのプライバシー バジェットを導出することで、量子化ビット レベルが低いほどプライバシー保護が向上することを示します。
理論的発見を検証するために、プライバシー漏洩の精度を評価するメンバーシップ推論攻撃 (MIA) を採用しています。
数値結果は私たちの理論分析と一致しており、量子化が実際にプライバシー保護を強化できることが確認されています。
この研究は、フロリダ州におけるプライバシーとコミュニケーションの相関関係についての理解を深めただけでなく、プライバシーの保護における量子化の利点も強調しました。

要約(オリジナル)

Federated Learning (FL) is an emerging paradigm that holds great promise for privacy-preserving machine learning using distributed data. To enhance privacy, FL can be combined with Differential Privacy (DP), which involves adding Gaussian noise to the model weights. However, FL faces a significant challenge in terms of large communication overhead when transmitting these model weights. To address this issue, quantization is commonly employed. Nevertheless, the presence of quantized Gaussian noise introduces complexities in understanding privacy protection. This research paper investigates the impact of quantization on privacy in FL systems. We examine the privacy guarantees of quantized Gaussian mechanisms using R\’enyi Differential Privacy (RDP). By deriving the privacy budget of quantized Gaussian mechanisms, we demonstrate that lower quantization bit levels provide improved privacy protection. To validate our theoretical findings, we employ Membership Inference Attacks (MIA), which gauge the accuracy of privacy leakage. The numerical results align with our theoretical analysis, confirming that quantization can indeed enhance privacy protection. This study not only enhances our understanding of the correlation between privacy and communication in FL but also underscores the advantages of quantization in preserving privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google