Resilience in Online Federated Learning: Mitigating Model-Poisoning Attacks via Partial Sharing

要約

フェデレーテッド ラーニング (FL) を使用すると、プライバシーを損なうことなく、分散データ上で機械学習モデルをトレーニングできます。
ただし、FL は、悪意のあるクライアントがローカル モデルを改ざんしてグローバル モデルを操作する、モデル ポイズニング攻撃に対して脆弱です。
この研究では、このような攻撃に対する部分共有オンライン FL (PSO-Fed) アルゴリズムの回復力を調査します。
PSO-Fed は、クライアントがモデル更新の一部のみをサーバーと共有できるようにすることで、通信オーバーヘッドを削減します。
我々は、この部分共有メカニズムには、モデルポイズニング攻撃に対する PSO-Fed の堅牢性を強化するという追加の利点があることを実証します。
理論分析を通じて、悪意のあるクライアントが更新にノイズを挿入するビザンチン攻撃下でも PSO-Fed が収束を維持することを示します。
さらに、ステップサイズ、攻撃確率、悪意のあるクライアントの数などの要素を考慮して、PSO-Fed の平均二乗誤差の式を導き出します。
興味深いことに、これらの攻撃に対する PSO-Fed の耐性を最大化する、自明ではない最適なステップサイズが見つかりました。
広範な数値実験により、理論的発見が確認され、他の主要な FL アルゴリズムと比較して、モデルポイズニング攻撃に対する PSO-Fed の優れたパフォーマンスが実証されました。

要約(オリジナル)

Federated learning (FL) allows training machine learning models on distributed data without compromising privacy. However, FL is vulnerable to model-poisoning attacks where malicious clients tamper with their local models to manipulate the global model. In this work, we investigate the resilience of the partial-sharing online FL (PSO-Fed) algorithm against such attacks. PSO-Fed reduces communication overhead by allowing clients to share only a fraction of their model updates with the server. We demonstrate that this partial sharing mechanism has the added advantage of enhancing PSO-Fed’s robustness to model-poisoning attacks. Through theoretical analysis, we show that PSO-Fed maintains convergence even under Byzantine attacks, where malicious clients inject noise into their updates. Furthermore, we derive a formula for PSO-Fed’s mean square error, considering factors like stepsize, attack probability, and the number of malicious clients. Interestingly, we find a non-trivial optimal stepsize that maximizes PSO-Fed’s resistance to these attacks. Extensive numerical experiments confirm our theoretical findings and showcase PSO-Fed’s superior performance against model-poisoning attacks compared to other leading FL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google