Mjolnir: Breaking the Shield of Perturbation-Protected Gradients via Adaptive Diffusion

要約

差分プライバシーなどの摂動ベースのメカニズムは、勾配にノイズを導入することで勾配漏洩攻撃を軽減し、それによって攻撃者が漏洩した勾配からクライアントの個人データを再構築することを防ぎます。
しかし、勾配摂動保護メカニズムはすべての勾配漏れ攻撃を本当に防御できるのでしょうか?
この論文では、個人情報を抽出するために Federated Learning における勾配摂動保護のシールドを破る最初の試みを紹介します。
私たちは一般的なノイズ分布、特にガウス分布とラプラス分布に焦点を当て、そのアプローチを DNN モデルと CNN モデルに適用します。
元のモデル構造や外部データへの追加アクセスを必要とせずに、勾配から摂動を除去できる摂動耐性勾配漏洩攻撃である Mjolnir を紹介します。
具体的には、勾配摂動保護の固有の拡散特性を活用して、ミョルニア用の新しい拡散ベースの勾配ノイズ除去モデルを開発します。
摂動勾配の構造を捕捉する代理クライアント モデルを構築することで、拡散モデルをトレーニングするための重要な勾配データを取得します。
さらに、逆拡散プロセス中の外乱レベルを監視することで勾配ノイズ除去機能を強化できるという洞察を活用し、Mjolnir が適応サンプリング ステップを通じて元の摂動のないバージョンに非常に近い勾配を生成できるようにします。
広範な実験により、Mjolnir が保護された勾配を効果的に回復し、Federated Learning プロセスを勾配漏洩の脅威にさらし、勾配ノイズ除去とプライベート データ回復において優れたパフォーマンスを達成することが実証されました。

要約(オリジナル)

Perturbation-based mechanisms, such as differential privacy, mitigate gradient leakage attacks by introducing noise into the gradients, thereby preventing attackers from reconstructing clients’ private data from the leaked gradients. However, can gradient perturbation protection mechanisms truly defend against all gradient leakage attacks? In this paper, we present the first attempt to break the shield of gradient perturbation protection in Federated Learning for the extraction of private information. We focus on common noise distributions, specifically Gaussian and Laplace, and apply our approach to DNN and CNN models. We introduce Mjolnir, a perturbation-resilient gradient leakage attack that is capable of removing perturbations from gradients without requiring additional access to the original model structure or external data. Specifically, we leverage the inherent diffusion properties of gradient perturbation protection to develop a novel diffusion-based gradient denoising model for Mjolnir. By constructing a surrogate client model that captures the structure of perturbed gradients, we obtain crucial gradient data for training the diffusion model. We further utilize the insight that monitoring disturbance levels during the reverse diffusion process can enhance gradient denoising capabilities, allowing Mjolnir to generate gradients that closely approximate the original, unperturbed versions through adaptive sampling steps. Extensive experiments demonstrate that Mjolnir effectively recovers the protected gradients and exposes the Federated Learning process to the threat of gradient leakage, achieving superior performance in gradient denoising and private data recovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google