Robust Quantity-Aware Aggregation for Federated Learning

要約

フェデレーション ラーニング (FL) を使用すると、複数のクライアントがローカル データを共有せずにモデルを共同でトレーニングできるようになり、プライバシーを保護する重要な機械学習フレームワークになります。
ただし、古典的な FL は、深刻なセキュリティと堅牢性の問題に直面しています。たとえば、悪意のあるクライアントがモデルの更新を毒し、同時に大量のデータを要求して、モデル集約におけるモデルの更新の影響を増幅する可能性があります。
FL の既存の防御方法は、悪意のあるモデルの更新を処理する一方で、すべての数量を無害に扱うか、すべてのクライアントの数量を単純に無視または切り捨てます。
前者は量を強化した攻撃に対して脆弱ですが、後者は通常、異なるクライアント上のローカル データのサイズが大幅に異なるため、最適なパフォーマンスが得られません。
この論文では、FedRA と呼ばれる、フェデレーテッド ラーニングのための堅牢な量を意識した集約アルゴリズムを提案します。これは、量を強化した攻撃から防御しながら、ローカルのデータ量を意識して集約を実行します。
より具体的には、アップロードされたモデル更新とさまざまなクライアントからのデータ量を共同で考慮し、残りのクライアントからのモデル更新に対して量を意識した加重平均を実行することにより、悪意のあるクライアントをフィルタリングする方法を提案します。
さらに、フェデレーテッド ラーニングに参加する悪意のあるクライアントの数はラウンドごとに動的に変化する可能性があるため、各ラウンドでフィルタリングされるべき疑わしいクライアントの数を予測するための悪意のあるクライアント数推定器も提案します。
4 つの公開データセットでの実験により、量的に強化された攻撃からフロリダ州を防御する際の FedRA 手法の有効性が実証されました。

要約(オリジナル)

Federated learning (FL) enables multiple clients to collaboratively train models without sharing their local data, and becomes an important privacy-preserving machine learning framework. However, classical FL faces serious security and robustness problem, e.g., malicious clients can poison model updates and at the same time claim large quantities to amplify the impact of their model updates in the model aggregation. Existing defense methods for FL, while all handling malicious model updates, either treat all quantities benign or simply ignore/truncate the quantities of all clients. The former is vulnerable to quantity-enhanced attack, while the latter leads to sub-optimal performance since the local data on different clients is usually in significantly different sizes. In this paper, we propose a robust quantity-aware aggregation algorithm for federated learning, called FedRA, to perform the aggregation with awareness of local data quantities while being able to defend against quantity-enhanced attacks. More specifically, we propose a method to filter malicious clients by jointly considering the uploaded model updates and data quantities from different clients, and performing quantity-aware weighted averaging on model updates from remaining clients. Moreover, as the number of malicious clients participating in the federated learning may dynamically change in different rounds, we also propose a malicious client number estimator to predict how many suspicious clients should be filtered in each round. Experiments on four public datasets demonstrate the effectiveness of our FedRA method in defending FL against quantity-enhanced attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google