Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy

要約

タイトル：クライアントレベルの差分プライバシーに基づくフェデレーテッドラーニングにおいて、よりフラットなランドスケープとより良い汎化を目指して

要約：
– フェデレーテッドラーニング（FL）においては、クライアントレベルの差分プライバシーを用いることが一般的であり、これによってローカルな更新をクリッピングし、ランダムノイズを加えることでプライバシーを保護している。
– しかし、既存のDPFL方法は、シャープなロスランドスケープを作り、重みの揺らぎに弱くなるという問題があり、性能が劣化する恐れがある。
– これを解決するため、本研究では、勾配の揺らぎによってDPの影響を緩和する新しいDPFLアルゴリズムであるDP-FedSAMを提案する。
– DP-FedSAMは、Sharpness Aware Minimization（SAM）オプティマイザを統合して、改善された安定性と重みの揺らぎに対する頑健性を持つローカルなフラットモデルを生成し、ローカルな更新の小さなノルムとDPノイズへの頑健性を結果として向上させ、性能を向上させる。
– さらに、ローカルな更新の疎な化技術を採用することで、ランダムノイズの大きさを減少させつつ、より良い性能を実現するDP-FedSAM-$top_k$を提案する。
– 理論的な観点から、我々のアルゴリズムがDPによって引き起こされる性能劣化を緩和する方法についての収束分析を提供する。
– 同時に、ローカル更新の感度分析と汎化分析によるR\’enyi DPと厳密なプライバシー保証を提供する。
– 最後に、我々のアルゴリズムが既存のSOTAベースラインと比較して、SOTAの性能を実現していることを実証する。

要約(オリジナル)

To defend the inference attacks and mitigate the sensitive information leakages in Federated Learning (FL), client-level Differentially Private FL (DPFL) is the de-facto standard for privacy protection by clipping local updates and adding random noise. However, existing DPFL methods tend to make a sharp loss landscape and have poor weight perturbation robustness, resulting in severe performance degradation. To alleviate these issues, we propose a novel DPFL algorithm named DP-FedSAM, which leverages gradient perturbation to mitigate the negative impact of DP. Specifically, DP-FedSAM integrates Sharpness Aware Minimization (SAM) optimizer to generate local flatness models with improved stability and weight perturbation robustness, which results in the small norm of local updates and robustness to DP noise, thereby improving the performance. To further reduce the magnitude of random noise while achieving better performance, we propose DP-FedSAM-$top_k$ by adopting the local update sparsification technique. From the theoretical perspective, we present the convergence analysis to investigate how our algorithms mitigate the performance degradation induced by DP. Meanwhile, we give rigorous privacy guarantees with R\’enyi DP, the sensitivity analysis of local updates, and generalization analysis. At last, we empirically confirm that our algorithms achieve state-of-the-art (SOTA) performance compared with existing SOTA baselines in DPFL.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI