FedCLEAN: byzantine defense by CLustering Errors of Activation maps in Non-IID federated learning environments

要約

Federated Learning (FL) を使用すると、クライアントはデータ プライバシーを強化しながら、ローカル データセットを使用してグローバル モデルを共同でトレーニングできます。
ただし、FL は中毒攻撃を受けやすいです。
既存の防御メカニズムは、クライアントのデータが独立して同一に分散されている (IID) ことを前提としているため、データが非 IID である現実のアプリケーションでは効果がありません。
この文書では、非 IID FL 環境で攻撃者のモデル更新をフィルタリングできる最初の防御策である FedCLEAN について説明します。
FedCLEAN の独自性は 2 つあります。
まず、特定のトリガー セットに対する各クライアントのモデル アクティベーション マップの再構成エラーから導出されるクライアント信頼スコアに依存します。再構成エラーは、新しいサーバー側戦略に従ってトレーニングされた条件付き変分オートエンコーダーによって取得されます。
2 番目に、クライアント スコアに基づいたアドホックな信頼伝播アルゴリズムを提案します。これにより、潜在的な攻撃者にフラグを立てながら、無害なクライアントのクラスターを構築できます。
データセット MNIST および FashionMNIST の実験結果は、非 IID シナリオにおけるビザンチン攻撃に対する FedCLEAN の堅牢性と、攻撃がない場合でも無害なクライアント誤分類率がゼロに近いことを示しています。

要約(オリジナル)

Federated Learning (FL) enables clients to collaboratively train a global model using their local datasets while reinforcing data privacy. However, FL is susceptible to poisoning attacks. Existing defense mechanisms assume that clients’ data are independent and identically distributed (IID), making them ineffective in real-world applications where data are non-IID. This paper presents FedCLEAN, the first defense capable of filtering attackers’ model updates in a non-IID FL environment. The originality of FedCLEAN is twofold. First, it relies on a client confidence score derived from the reconstruction errors of each client’s model activation maps for a given trigger set, with reconstruction errors obtained by means of a Conditional Variational Autoencoder trained according to a novel server-side strategy. Second, we propose an ad-hoc trust propagation algorithm based on client scores, which allows building a cluster of benign clients while flagging potential attackers. Experimental results on the datasets MNIST and FashionMNIST demonstrate the robustness of FedCLEAN against Byzantine attackers in non-IID scenarios and a close-to-zero benign client misclassification rate, even in the absence of an attack.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google