FedRISE: Rating Induced Sign Election of Gradients for Byzantine Tolerant Federated Aggregation

要約

フェデレーション ラーニングにおけるモデル ポイズニングに対する最も一般的な防御戦略の 1 つは、トレーニングの回復力を高める堅牢なアグリゲーター メカニズムを採用することです。
既存のビザンチンの堅牢なアグリゲータの多くは理論的な保証を提供しており、特定のカテゴリの攻撃に対して経験的に効果的です。
ただし、特定の強力な攻撃によってアグリゲーターが破壊され、トレーニングが崩壊する可能性があることが観察されています。
さらに、ほとんどのアグリゲーターは、収束するために許容可能な設定を特定する必要があります。
ビザンチンの数が過半数に近い場合、攻撃の影響はより顕著になり、攻撃者がデータ、正直な更新、集計方法へのアクセスを熟知している場合、回避するのが難しくなります。
これらの観察に動機付けられ、私たちは一貫性があり、全知の攻撃者によるポイズニング更新の影響を受けにくい、クロスサイロ FL 用の FedRISE と呼ばれる堅牢なアグリゲーターを開発しました。
提案された方法は、分散を低減した疎な勾配を使用する符号投票戦略を通じて、各勾配の最適な方向を明示的に決定します。
私たちは、生の勾配のコサイン類似性に基づく投票の重み付けは誤解を招くと主張し、勾配の大きさを無視する符号ベースの勾配評価関数を導入します。
3 つのデータセットとアーキテクチャに対する 6 つのポイズニング攻撃の下で、8 つの堅牢なアグリゲーターと私たちの方法を比較します。
私たちの結果は、既存の堅牢なアグリゲーターは厳しい設定下では少なくとも一部の攻撃に対して崩壊するのに対し、FedRISE は厳格な勾配包含の定式化により優れた堅牢性を示していることを示しています。

要約(オリジナル)

One of the most common defense strategies against model poisoning in federated learning is to employ a robust aggregator mechanism that makes the training more resilient. Many of the existing Byzantine robust aggregators provide theoretical guarantees and are empirically effective against certain categories of attacks. However, we observe that certain high-strength attacks can subvert the aggregator and collapse the training. In addition, most aggregators require identifying tolerant settings to converge. Impact of attacks becomes more pronounced when the number of Byzantines is near-majority, and becomes harder to evade if the attacker is omniscient with access to data, honest updates and aggregation methods. Motivated by these observations, we develop a robust aggregator called FedRISE for cross-silo FL that is consistent and less susceptible to poisoning updates by an omniscient attacker. The proposed method explicitly determines the optimal direction of each gradient through a sign-voting strategy that uses variance-reduced sparse gradients. We argue that vote weighting based on the cosine similarity of raw gradients is misleading, and we introduce a sign-based gradient valuation function that ignores the gradient magnitude. We compare our method against 8 robust aggregators under 6 poisoning attacks on 3 datasets and architectures. Our results show that existing robust aggregators collapse for at least some attacks under severe settings, while FedRISE demonstrates better robustness because of a stringent gradient inclusion formulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google