An Experimental Study of Byzantine-Robust Aggregation Schemes in Federated Learning

要約

Byzantine-robust federated learning は、悪意のある参加者が任意のローカル更新を中央サーバーにアップロードして、グローバル モデルのパフォーマンスを低下させる可能性がある、フェデレーション トレーニング プロセス中のビザンチン障害を軽減することを目的としています。
近年、ビザンチン クライアントからの悪意のある更新から防御し、連合学習の堅牢性を向上させるために、いくつかの堅牢な集約スキームが提案されています。
これらのソリューションは、特定の仮定の下で、ビザンチンに堅牢であると主張されていました。
それ以外にも、防御スキームを回避しようとする新しい攻撃戦略が出現しています。
しかし、その体系的な比較と実証研究が不足しています。
この論文では、フェデレーテッド ラーニングで一般的な 2 つのアルゴリズム FedSGD と FedAvg を使用して、さまざまな攻撃下でのビザンチン ロバスト アグリゲーション スキームの実験的研究を行います。
最初に、既存のビザンチン攻撃戦略と、ビザンチン攻撃から防御することを目的としたビザンチン堅牢な集約スキームを調査します。
また、更新を自動的にクリッピングすることにより、クラスタリングベースのスキームの堅牢性を高める新しいスキーム ClippedClustering も提案します。
次に、5 つの異なるビザンチン攻撃のシナリオで 8 つの集約スキームの実験的評価を提供します。
私たちの結果は、これらの集計スキームがいくつかのケースでは比較的高い精度を維持するが、他のケースでは効果がないことを示しています。
特に、私たちが提案した ClippedClustering は、独立した IID ローカル データセットでのほとんどの攻撃をうまく防御します。
ただし、ローカル データセットが非 IID の場合、すべての集計スキームのパフォーマンスが大幅に低下します。
非 IID データでは、ビザンチン クライアントが完全に存在しない場合でも、これらの集約スキームの一部が失敗します。
すべての集計スキームの堅牢性は限られていると結論付け、特に非 IID データセットの新しい防御戦略の必要性を強調しています。

要約(オリジナル)

Byzantine-robust federated learning aims at mitigating Byzantine failures during the federated training process, where malicious participants may upload arbitrary local updates to the central server to degrade the performance of the global model. In recent years, several robust aggregation schemes have been proposed to defend against malicious updates from Byzantine clients and improve the robustness of federated learning. These solutions were claimed to be Byzantine-robust, under certain assumptions. Other than that, new attack strategies are emerging, striving to circumvent the defense schemes. However, there is a lack of systematic comparison and empirical study thereof. In this paper, we conduct an experimental study of Byzantine-robust aggregation schemes under different attacks using two popular algorithms in federated learning, FedSGD and FedAvg . We first survey existing Byzantine attack strategies and Byzantine-robust aggregation schemes that aim to defend against Byzantine attacks. We also propose a new scheme, ClippedClustering , to enhance the robustness of a clustering-based scheme by automatically clipping the updates. Then we provide an experimental evaluation of eight aggregation schemes in the scenario of five different Byzantine attacks. Our results show that these aggregation schemes sustain relatively high accuracy in some cases but are ineffective in others. In particular, our proposed ClippedClustering successfully defends against most attacks under independent and IID local datasets. However, when the local datasets are Non-IID, the performance of all the aggregation schemes significantly decreases. With Non-IID data, some of these aggregation schemes fail even in the complete absence of Byzantine clients. We conclude that the robustness of all the aggregation schemes is limited, highlighting the need for new defense strategies, in particular for Non-IID datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google