Towards Communication-Efficient Adversarial Federated Learning for Robust Edge Intelligence

要約

Federated Learning（FL）は、生データを公開せずにエッジネットワークで分散型トレーニングを可能にするために大きな注目を集めています。
ただし、FLモデルは、非IIDデータ設定における敵対的な攻撃やパフォーマンスの低下の影響を受けやすく、堅牢性と精度の両方に課題をもたらします。
このペーパーは、AFLの敵対的攻撃と非IID課題の下での堅牢性と精度の両方を強化するために、事前に訓練されたモデルを活用することにより、コミュニケーション効率の高い敵対的フェデレーション学習（AFL）を達成することを目的としています。
クリーン画像と敵対的な画像の両方について、事前に訓練されたモデルから知識を活用することにより、事前に訓練されたモデルガイド付き敵対的フェデレートラーニング（PM-AFL）フレームワークを提案します。
このフレームワークは、バニラと敵対的な混合知識の蒸留を統合して、多様なデータから学習するためにローカルモデルを促進しながら、精度と堅牢性のバランスを効果的にバランスさせます。
具体的には、クリーンな精度のために、ランダムにペアになった画像のクラス確率と、それらのブレンドバージョンが教師モデルとローカルモデルの間に並べられている二重蒸留戦略を採用します。
敵対的な堅牢性のために、同様の蒸留アプローチを採用していますが、局所側のきれいなサンプルを敵対的な例に置き換えます。
さらに、ローカルモデルとグローバルモデルの間のバイアスを考慮することにより、一貫性の正則化用語も組み込まれて、ローカルの敵対的予測が対応するグローバルなクリーンな予測と整合していることを確認します。
これらの戦略により、ローカルモデルは、グローバルモデルとの密接な整合性を維持しながら、教師モデルからの多様な知識を吸収することにより、ローカルモデルを維持し、それによりローカルオプティマへの過剰適合を軽減し、グローバルモデルの一般化を強化します。
実験は、PM-AFLベースのフレームワークが他の方法を大幅に上回るだけでなく、コミュニケーション効率を維持することを示しています。

要約(オリジナル)

Federated learning (FL) has gained significant attention for enabling decentralized training on edge networks without exposing raw data. However, FL models remain susceptible to adversarial attacks and performance degradation in non-IID data settings, thus posing challenges to both robustness and accuracy. This paper aims to achieve communication-efficient adversarial federated learning (AFL) by leveraging a pre-trained model to enhance both robustness and accuracy under adversarial attacks and non-IID challenges in AFL. By leveraging the knowledge from a pre-trained model for both clean and adversarial images, we propose a pre-trained model-guided adversarial federated learning (PM-AFL) framework. This framework integrates vanilla and adversarial mixture knowledge distillation to effectively balance accuracy and robustness while promoting local models to learn from diverse data. Specifically, for clean accuracy, we adopt a dual distillation strategy where the class probabilities of randomly paired images, and their blended versions are aligned between the teacher model and the local models. For adversarial robustness, we employ a similar distillation approach but replace clean samples on the local side with adversarial examples. Moreover, by considering the bias between local and global models, we also incorporate a consistency regularization term to ensure that local adversarial predictions stay aligned with their corresponding global clean ones. These strategies collectively enable local models to absorb diverse knowledge from the teacher model while maintaining close alignment with the global model, thereby mitigating overfitting to local optima and enhancing the generalization of the global model. Experiments demonstrate that the PM-AFL-based framework not only significantly outperforms other methods but also maintains communication efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google