Towards Efficient and Certified Recovery from Poisoning Attacks in Federated Learning

要約

Federated Learning (FL) は、悪意のあるクライアントが更新を操作してグローバル モデルに影響を与えるポイズニング攻撃に対して脆弱です。
FL でこれらのクライアントを検出するにはさまざまな方法が存在しますが、悪意のあるクライアントを特定するには十分なモデルの更新が必要であるため、悪意のあるクライアントが検出されるまでに、FL モデルはすでに汚染されています。
したがって、悪意のあるクライアントが特定された後に正確なグローバル モデルを回復する方法が必要です。
現在の回復方法は、(i) 参加している FL クライアントからのすべての履歴情報、および (ii) 悪意のあるクライアントの影響を受けない初期モデルに依存しているため、ストレージと計算リソースの需要が高くなります。
このホワイトペーパーでは、(i) すべての履歴情報ではなく選択した履歴情報、および (ii) 初期モデルではなく悪意のあるクライアントによって大きな影響を受けていない履歴モデルに基づいて、非常に効果的な回復が依然として達成できることを示します。
このシナリオでは、同等の回復パフォーマンスを維持しながら、回復速度を加速し、メモリ消費量を削減できます。
この概念に従って、選択的な情報ストレージと適応モデルのロールバックに依存する、効率的で認定された回復方法である Crab を紹介します。
理論的には、Crab によって復元されたグローバル モデルと、スクラッチからトレーニングによって復元されたグローバル モデル間の差異は、特定の仮定の下で制限されることができることを示します。
複数の機械学習モデル上の 3 つのデータセット、およびさまざまな非標的型および標的型ポイズニング攻撃にわたって実施された実証評価により、Crab は正確かつ効率的であり、回復速度とメモリ消費量の両方の点で以前のアプローチを一貫して上回ることが明らかになりました。

要約(オリジナル)

Federated learning (FL) is vulnerable to poisoning attacks, where malicious clients manipulate their updates to affect the global model. Although various methods exist for detecting those clients in FL, identifying malicious clients requires sufficient model updates, and hence by the time malicious clients are detected, FL models have been already poisoned. Thus, a method is needed to recover an accurate global model after malicious clients are identified. Current recovery methods rely on (i) all historical information from participating FL clients and (ii) the initial model unaffected by the malicious clients, leading to a high demand for storage and computational resources. In this paper, we show that highly effective recovery can still be achieved based on (i) selective historical information rather than all historical information and (ii) a historical model that has not been significantly affected by malicious clients rather than the initial model. In this scenario, while maintaining comparable recovery performance, we can accelerate the recovery speed and decrease memory consumption. Following this concept, we introduce Crab, an efficient and certified recovery method, which relies on selective information storage and adaptive model rollback. Theoretically, we demonstrate that the difference between the global model recovered by Crab and the one recovered by train-from-scratch can be bounded under certain assumptions. Our empirical evaluation, conducted across three datasets over multiple machine learning models, and a variety of untargeted and targeted poisoning attacks reveals that Crab is both accurate and efficient, and consistently outperforms previous approaches in terms of both recovery speed and memory consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google