A Data-Driven Defense against Edge-case Model Poisoning Attacks on Federated Learning

要約

Federated Learning システムは、クライアントからの多数のモデル ポイズニング攻撃にさらされることが増えています。
これらのうち、入力空間のごく一部を標的とするエッジケース攻撃は、既存の防御を使用して検出するのがほぼ不可能であり、高い攻撃成功率につながります。
攻撃対象に関する情報を提供する外部防御データセットを使用した効果的な防御を提案します。
防衛データセットには、汚染された例とクリーンな例が混在していますが、クリーンであることがわかっているのはほんのわずかです。
提案された手法である Data Defense は、このデータセットを使用して、防御データセット内の各例をポイズニング済みまたはクリーンとしてマークするポイズニング済みデータ検出器モデルを学習します。
また、クライアントの更新が悪意のあるものである可能性を推定するクライアント重要度モデルも学習します。
次に、グローバル モデルは、クライアント モデルの更新の加重平均として更新されます。
ポイズニングされたデータ検出器とクライアント重要度モデルのパラメーターは、Federated Learning ラウンドにわたって交互の最小化戦略を使用して更新されます。
標準的な攻撃シナリオに関する広範な実験により、他の最先端の防御が失敗するモデルポイズニング攻撃に対して Data Defense が防御できることが実証されています。
特に、Data Defense は、標準的な攻撃設定では攻撃の成功率を少なくとも ~ 40%、一部の設定では 80% 以上削減できます。
さらに、Data Defense では、攻撃成功率をほぼ最適に下げるために、非常に少数の防御例 (わずか 5 つ) しか必要としません。

要約(オリジナル)

Federated Learning systems are increasingly subjected to a multitude of model poisoning attacks from clients. Among these, edge-case attacks that target a small fraction of the input space are nearly impossible to detect using existing defenses, leading to a high attack success rate. We propose an effective defense using an external defense dataset, which provides information about the attack target. The defense dataset contains a mix of poisoned and clean examples, with only a few known to be clean. The proposed method, DataDefense, uses this dataset to learn a poisoned data detector model which marks each example in the defense dataset as poisoned or clean. It also learns a client importance model that estimates the probability of a client update being malicious. The global model is then updated as a weighted average of the client models’ updates. The poisoned data detector and the client importance model parameters are updated using an alternating minimization strategy over the Federated Learning rounds. Extensive experiments on standard attack scenarios demonstrate that DataDefense can defend against model poisoning attacks where other state-of-the-art defenses fail. In particular, DataDefense is able to reduce the attack success rate by at least ~ 40% on standard attack setups and by more than 80% on some setups. Furthermore, DataDefense requires very few defense examples (as few as five) to achieve a near-optimal reduction in attack success rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google