Byzantines can also Learn from History: Fall of Centered Clipping in Federated Learning

要約

フェデレーテッド ラーニング (FL) フレームワークは、幅広い共同学習タスクでの成功により人気が高まっており、セキュリティ上の懸念も生じています。
多くの脆弱性の中でも、悪意のあるクライアントが学習プロセスに参加する可能性を指すビザンチン攻撃のリスクが特に懸念されています。
したがって、FL の重要な目的は、ビザンチン攻撃の潜在的な影響を無効化し、最終モデルが信頼できるものであることを確認することです。
クライアントのモデル/アップデート間の差異が大きくなるほど、ビザンチン攻撃が隠蔽される余地が増えることが観察されています。
結果として、勢いを利用して分散を減らすことにより、既知のビザンチン攻撃の強度を弱めることが可能です。
中心クリッピング (CC) フレームワークは、分散を減らすだけでなく、前回の反復からの運動量項を基準点として使用して、ビザンチン攻撃をより適切に無効化できることをさらに示しました。
この研究では、まず CC フレームワークの脆弱性を明らかにし、CC やその他の強力なアグリゲーターの防御を回避して、画像分類タスクの最良のシナリオでテスト精度を最大 %33 低下させることができる新しい攻撃戦略を導入します。
次に、提案されているおよび他の既存のビザンチン攻撃に対して効果的な、新しい堅牢で高速な防御メカニズムを提案します。

要約(オリジナル)

The increasing popularity of the federated learning (FL) framework due to its success in a wide range of collaborative learning tasks also induces certain security concerns. Among many vulnerabilities, the risk of Byzantine attacks is of particular concern, which refers to the possibility of malicious clients participating in the learning process. Hence, a crucial objective in FL is to neutralize the potential impact of Byzantine attacks and to ensure that the final model is trustable. It has been observed that the higher the variance among the clients’ models/updates, the more space there is for Byzantine attacks to be hidden. As a consequence, by utilizing momentum, and thus, reducing the variance, it is possible to weaken the strength of known Byzantine attacks. The centered clipping (CC) framework has further shown that the momentum term from the previous iteration, besides reducing the variance, can be used as a reference point to neutralize Byzantine attacks better. In this work, we first expose vulnerabilities of the CC framework, and introduce a novel attack strategy that can circumvent the defences of CC and other robust aggregators and reduce their test accuracy up to %33 on best-case scenarios in image classification tasks. Then, we propose a new robust and fast defence mechanism that is effective against the proposed and other existing Byzantine attacks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google