Securing Federated Learning against Backdoor Threats with Foundation Model Integration

要約

Federated Learning（FL）は、プライバシーを維持しながら分散モデルトレーニングを可能にします。
最近、FLに基礎モデル（FMS）の統合により、パフォーマンスが向上しましたが、新しいバックドア攻撃メカニズムが導入されました。
攻撃者は、FMを埋め込んでFMによって生成された合成データにFMの脆弱性を活用できます。
グローバルモデルの融合中、これらのバックドアは、侵害された合成データを通じてグローバルモデルに転送され、その後すべてのクライアントモデルに感染します。
既存のFLバックドア防御は、古典的なメカニズムと比較して根本的に異なるメカニズムのため、この新しい攻撃に対して効果がありません。
この作業では、フロリダ州の古典的および新しいバックドア攻撃の両方に対処する新しいデータフリー防衛戦略を提案します。
共有攻撃パターンは、モデル集約中の隠された特徴空間内の異常な活性化にあります。
したがって、モデルの機能を維持しながら攻撃を効果的に軽減し、合理的な範囲内にとどまるように内部の活性化を制約することを提案します。
アクティベーションの制約は、FLトレーニングとともに合成データを使用して最適化されています。
広範な実験は、既存の防御を上回る、斬新なバックドア攻撃と古典的なバックドア攻撃の両方に対する有効性を示しています。

要約(オリジナル)

Federated Learning (FL) enables decentralized model training while preserving privacy. Recently, the integration of Foundation Models (FMs) into FL has enhanced performance but introduced a novel backdoor attack mechanism. Attackers can exploit FM vulnerabilities to embed backdoors into synthetic data generated by FMs. During global model fusion, these backdoors are transferred to the global model through compromised synthetic data, subsequently infecting all client models. Existing FL backdoor defenses are ineffective against this novel attack due to its fundamentally different mechanism compared to classic ones. In this work, we propose a novel data-free defense strategy that addresses both classic and novel backdoor attacks in FL. The shared attack pattern lies in the abnormal activations within the hidden feature space during model aggregation. Hence, we propose to constrain internal activations to remain within reasonable ranges, effectively mitigating attacks while preserving model functionality. The activation constraints are optimized using synthetic data alongside FL training. Extensive experiments demonstrate its effectiveness against both novel and classic backdoor attacks, outperforming existing defenses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google