Make Landscape Flatter in Differentially Private Federated Learning

要約

フェデレーテッド ラーニング (FL) での推論攻撃を防御し、機密情報の漏洩を軽減するために、クライアント レベルの差分プライベート FL (DPFL) は、ローカル アップデートをクリッピングし、ランダム ノイズを追加することによるプライバシー保護のデファクト スタンダードです。
ただし、既存の DPFL メソッドは、損失状況がよりシャープになり、重量摂動のロバスト性が低下する傾向があり、その結果、パフォーマンスが大幅に低下します。
これらの問題を軽減するために、DP-FedSAM という名前の新しい DPFL アルゴリズムを提案します。これは、勾配摂動を利用して DP の悪影響を軽減します。
具体的には、DP-FedSAM は Sharpness Aware Minimization (SAM) オプティマイザーを統合して、安定性と重み摂動のロバスト性が向上したローカル平坦性モデルを生成します。これにより、ローカル更新の小さなノルムと DP ノイズに対するロバスト性がもたらされ、それによってパフォーマンスが向上します。
理論的な観点から、DP-FedSAM が DP によって引き起こされるパフォーマンスの低下をどのように軽減するかを詳細に分析します。
一方、R\’enyi DP では厳格なプライバシー保証を提供し、ローカル アップデートの感度分析を提示します。
最後に、DPFL の既存の SOTA ベースラインと比較して、アルゴリズムが最先端 (SOTA) のパフォーマンスを達成することを経験的に確認します。

要約(オリジナル)

To defend the inference attacks and mitigate the sensitive information leakages in Federated Learning (FL), client-level Differentially Private FL (DPFL) is the de-facto standard for privacy protection by clipping local updates and adding random noise. However, existing DPFL methods tend to make a sharper loss landscape and have poorer weight perturbation robustness, resulting in severe performance degradation. To alleviate these issues, we propose a novel DPFL algorithm named DP-FedSAM, which leverages gradient perturbation to mitigate the negative impact of DP. Specifically, DP-FedSAM integrates Sharpness Aware Minimization (SAM) optimizer to generate local flatness models with better stability and weight perturbation robustness, which results in the small norm of local updates and robustness to DP noise, thereby improving the performance. From the theoretical perspective, we analyze in detail how DP-FedSAM mitigates the performance degradation induced by DP. Meanwhile, we give rigorous privacy guarantees with R\’enyi DP and present the sensitivity analysis of local updates. At last, we empirically confirm that our algorithm achieves state-of-the-art (SOTA) performance compared with existing SOTA baselines in DPFL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google