Defending Against Diverse Attacks in Federated Learning Through Consensus-Based Bi-Level Optimization

要約

敵対的攻撃は、多くの機械学習アプリケーション、特に分散学習や連合学習において重要な課題をもたらす。本論文では、このような攻撃の存在下における頑健な連合学習の問題を、訓練タスクを2レベル最適化問題として定式化することで解決する。敵対的な設定において、相互作用する多粒子メタヒューリスティック最適化手法であるコンセンサスに基づく2値最適化(CB$^2$O)の回復力について理論解析を行う。具体的には、悪意あるエージェントが存在する場合の平均場法におけるCB$^2$Oの大域的収束解析を行い、様々な攻撃に対するCB$^2$Oの頑健性を実証する。これにより、特定のハイパーパラメータを選択することで、どのように敵対的な効果を緩和することができるかについての洞察を提供する。実用面では、新しい相互作用多粒子システムであるFedCB$^2$Oを提案することにより、CB$^2$Oをクラスタ化された連合学習設定に拡張し、実世界のアプリケーションの要求に応える実用的なアルゴリズムを設計する。広範な実験により、FedCB$^2$Oアルゴリズムが分散クラスター連携学習シナリオにおけるラベル反転攻撃に対して頑健であることを実証し、実用的な文脈における有効性を示す。

要約(オリジナル)

Adversarial attacks pose significant challenges in many machine learning applications, particularly in the setting of distributed training and federated learning, where malicious agents seek to corrupt the training process with the goal of jeopardizing and compromising the performance and reliability of the final models. In this paper, we address the problem of robust federated learning in the presence of such attacks by formulating the training task as a bi-level optimization problem. We conduct a theoretical analysis of the resilience of consensus-based bi-level optimization (CB$^2$O), an interacting multi-particle metaheuristic optimization method, in adversarial settings. Specifically, we provide a global convergence analysis of CB$^2$O in mean-field law in the presence of malicious agents, demonstrating the robustness of CB$^2$O against a diverse range of attacks. Thereby, we offer insights into how specific hyperparameter choices enable to mitigate adversarial effects. On the practical side, we extend CB$^2$O to the clustered federated learning setting by proposing FedCB$^2$O, a novel interacting multi-particle system, and design a practical algorithm that addresses the demands of real-world applications. Extensive experiments demonstrate the robustness of the FedCB$^2$O algorithm against label-flipping attacks in decentralized clustered federated learning scenarios, showcasing its effectiveness in practical contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL