Understanding Byzantine Robustness in Federated Learning with A Black-box Server

要約

フェデレーテッド ラーニング (FL) は、一部の参加者が悪意のあるモデルの更新を送信することでユーティリティに損害を与えたり、学習されたモデルの収束を妨げたりする傾向があるビザンチン攻撃に対して脆弱になります。
これまでの研究では、さまざまなタイプのビザンチン攻撃に対して参加者からの更新を集約するための堅牢なルールを適用することが提案されていますが、同時に攻撃者は、特定の集約ルールがわかっている場合には、それをターゲットとする高度なビザンチン攻撃アルゴリズムをさらに設計することもできます。
実際には、FL システムには、参加者が採用された集計ルールにアクセスできないようにするブラック ボックス サーバーが関与する可能性があり、これにより一部のビザンチン攻撃を自然に防御または弱めることができます。
このペーパーでは、ブラックボックス サーバーを使用した FL システムのビザンチン堅牢性について詳しく説明します。
私たちの調査では、動的防御戦略を採用したブラックボックス サーバーのビザンチン堅牢性が向上していることが実証されています。
我々は、ブラックボックス サーバーが最悪の場合の攻撃の影響を最大レベルから期待レベルまで軽減できることを実証するための実証的証拠と理論的分析の両方を提供します。これは、ブラック ボックス サーバーによってもたらされる固有のアクセス不能性とランダム性に起因すると考えられます。
コミュニティでのさらなる研究を促進するために、ソース コードは https://github.com/alibaba/FederatedScope/tree/Byzantine_attach_defense で入手できます。

要約(オリジナル)

Federated learning (FL) becomes vulnerable to Byzantine attacks where some of participators tend to damage the utility or discourage the convergence of the learned model via sending their malicious model updates. Previous works propose to apply robust rules to aggregate updates from participators against different types of Byzantine attacks, while at the same time, attackers can further design advanced Byzantine attack algorithms targeting specific aggregation rule when it is known. In practice, FL systems can involve a black-box server that makes the adopted aggregation rule inaccessible to participants, which can naturally defend or weaken some Byzantine attacks. In this paper, we provide an in-depth understanding on the Byzantine robustness of the FL system with a black-box server. Our investigation demonstrates the improved Byzantine robustness of a black-box server employing a dynamic defense strategy. We provide both empirical evidence and theoretical analysis to reveal that the black-box server can mitigate the worst-case attack impact from a maximum level to an expectation level, which is attributed to the inherent inaccessibility and randomness offered by a black-box server.The source code is available at https://github.com/alibaba/FederatedScope/tree/Byzantine_attack_defense to promote further research in the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google