On the Byzantine-Resilience of Distillation-Based Federated Learning

要約

知識蒸留 (KD) を使用したフェデレーテッド ラーニング (FL) アルゴリズムは、プライバシー、非 i.i.d. に関する有利な特性によりますます注目を集めています。
データ通信費。
これらの方法は、モデル パラメーターの送信とは異なり、代わりに、公開データセットで予測を共有することによって学習タスクに関する情報を伝達します。
この研究では、クライアントの一部が学習プロセスを妨害することを目的として敵対的に行動するビザンチン環境におけるこのようなアプローチのパフォーマンスを研究します。
私たちは、KD ベースの FL アルゴリズムが驚くほど回復力があることを示し、フェデレーテッド アベレージングと比較してビザンチン クライアントが学習プロセスにどのような影響を与えるかを分析します。
これらの洞察に基づいて、2 つの新しいビザンチン攻撃を導入し、それらが以前のビザンチン耐性のある手法に対して有効であることを実証します。
さらに、KD ベースの FL アルゴリズムのビザンチン復元力を強化し、その有効性を実証するように設計された新しい手法である FilterExp を提案します。
最後に、攻撃の検出を困難にし、攻撃の有効性を向上させる一般的な方法を提供します。

要約(オリジナル)

Federated Learning (FL) algorithms using Knowledge Distillation (KD) have received increasing attention due to their favorable properties with respect to privacy, non-i.i.d. data and communication cost. These methods depart from transmitting model parameters and, instead, communicate information about a learning task by sharing predictions on a public dataset. In this work, we study the performance of such approaches in the byzantine setting, where a subset of the clients act in an adversarial manner aiming to disrupt the learning process. We show that KD-based FL algorithms are remarkably resilient and analyze how byzantine clients can influence the learning process compared to Federated Averaging. Based on these insights, we introduce two new byzantine attacks and demonstrate that they are effective against prior byzantine-resilient methods. Additionally, we propose FilterExp, a novel method designed to enhance the byzantine resilience of KD-based FL algorithms and demonstrate its efficacy. Finally, we provide a general method to make attacks harder to detect, improving their effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google