DROP: Poison Dilution via Knowledge Distillation for Federated Learning

要約

連邦学習は、悪意のあるクライアントがグローバルモデルの行動に影響を与えるために毒された更新を注入できる敵対的な操作に対して脆弱です。
既存の防衛メカニズムは顕著な進歩を遂げましたが、彼らは異なる学習と攻撃の構成の下でターゲットを絞った背景を誘導することを目的とする敵から保護することに失敗しています。
この制限に対処するために、クラスタリングとアクティビティ追跡技術を知識の蒸留を介してクライアントからの良性行動の抽出を組み合わせて、低データ中毒率と連邦内の多様な悪意のあるクライアント比を操作するステルス敵に取り組む新しい防御メカニズムであるドロップ（蒸留ベースの中毒の減少）を導入します。
広範な実験を通じて、私たちのアプローチは、幅広い学習構成にわたる既存の防御と比較して優れた堅牢性を示しています。
最後に、非IIDクライアントデータ分布の挑戦的な設定の下で既存の防御と方法を評価し、この設定でResilient FL防御を設計するという課題を強調します。

要約(オリジナル)

Federated Learning is vulnerable to adversarial manipulation, where malicious clients can inject poisoned updates to influence the global model’s behavior. While existing defense mechanisms have made notable progress, they fail to protect against adversaries that aim to induce targeted backdoors under different learning and attack configurations. To address this limitation, we introduce DROP (Distillation-based Reduction Of Poisoning), a novel defense mechanism that combines clustering and activity-tracking techniques with extraction of benign behavior from clients via knowledge distillation to tackle stealthy adversaries that manipulate low data poisoning rates and diverse malicious client ratios within the federation. Through extensive experimentation, our approach demonstrates superior robustness compared to existing defenses across a wide range of learning configurations. Finally, we evaluate existing defenses and our method under the challenging setting of non-IID client data distribution and highlight the challenges of designing a resilient FL defense in this setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google