Byzantines can also Learn from History: Fall of Centered Clipping in Federated Learning

要約

【タイトル】ビザンチン問題からフェデレーテッドラーニングにおける中央クリッピングの落ちることを学ぶ

【要約】
– フェデレーテッドラーニング（FL）のフレームワークが多数の協力的学習タスクにおける成功により、ますます人気が高まっていますが、FLにはいくつかのセキュリティ上の問題があります。
– セキュリティ上の脆弱性の中でも、ビザンチン攻撃のリスクが特に懸念されており、これは学習プロセスに参加する悪意のあるクライアントの可能性を指します。
– そのため、FLにおいてはビザンチン攻撃の潜在的な影響力を無効にし、最終モデルが信頼できるものであることを確認することが重要な目標です。
– クライアントのモデル/更新の分散が大きいほど、ビザンチン攻撃が隠れるスペースが多くなります。
– そのため、運動量を利用して分散を減らし、既知のビザンチン攻撃を弱めることができます。
– 中央クリッピング（CC）フレームワークは、前回のイテレーションの運動量項を参照点として使用することで、ビザンチン攻撃をより効果的に無効化できることを示しています。
– しかし、この研究では、CCフレームワークの脆弱性を明らかにし、その防御を回避する新しい攻撃戦略を紹介しています。
– この攻撃戦略は、画像分類タスクにおいて最高のケースシナリオでテスト精度を33％低下させることができます。
– そのため、この研究では、提案された攻撃と他の既存のビザンチン攻撃を防止する新しい堅牢かつ高速な防御機構を提案しています。

要約(オリジナル)

The increasing popularity of the federated learning (FL) framework due to its success in a wide range of collaborative learning tasks also induces certain security concerns. Among many vulnerabilities, the risk of Byzantine attacks is of particular concern, which refers to the possibility of malicious clients participating in the learning process. Hence, a crucial objective in FL is to neutralize the potential impact of Byzantine attacks, and to ensure that the final model is trustable. It has been observed that the higher the variance among the clients’ models/updates, the more space there is for Byzantine attacks to be hidden. As a consequence, by utilizing momentum, and thus, reducing the variance, it is possible to weaken the strength of known Byzantine attacks. The centered clipping (CC) framework has further shown that, the momentum term from the previous iteration, besides reducing the variance, can be used as a reference point to neutralize Byzantine attacks better. In this work, we first expose vulnerabilities of CC framework, and introduce a novel attack strategy that can circumvent its defences and other robust aggregators by reducing test accuracy up to %33 on best-case scenarios in image classification tasks. Then, we propose a new robust and fast defence mechanism to prevent the proposed attack and other existing Byzantine attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI