EBS-CFL: Efficient and Byzantine-robust Secure Clustered Federated Learning

要約

連合学習（FL）の共同学習における可能性の可能性にもかかわらず、分散ユーザーのデータ不均一性により、そのパフォーマンスは悪化しています。
最近、Clustered Federated Learning（CFL）が登場し、ユーザーを類似性に応じてクラスターに分割することにより、この課題に対処することができました。
ただし、CFLは、ユーザーがプライバシーの懸念のためにクラスターのアイデンティティを共有したくない場合にトレーニングの困難に直面しています。
これらの問題に対処するために、EBS-CFLと呼ばれるCFLの革新的な効率的で堅牢な安全な集約スキームを提示します。
提案されているEBS-CFLは、ユーザーのクラスターのアイデンティティを秘密に維持しながら、CFLを効果的にトレーニングすることをサポートします。
さらに、負の相関勾配を破棄し、加重アプローチを使用して積極的に相関する勾配を凝集させることにより、個々のクライアント勾配を損なうことなく、潜在的な有毒攻撃を検出します。
サーバーはまた、クライアントによる正しいグラデーションエンコードを認証します。
EBS-CFLは、通信用のクライアント側のオーバーヘッドo（ml + m^2）、計算用のo（m^2L）で高効率を持ち、mはクラスターアイデンティティの数、lは勾配サイズです。
M = 1の場合、EBS-CFLのクライアントの計算効率は、少なくともo（log n）倍の比較スキームよりも優れています。ここで、nはクライアントの数です。追加では、広範な実験を通じてスキームを検証します。
最後に、理論的にはスキームのセキュリティを証明します。

要約(オリジナル)

Despite federated learning (FL)’s potential in collaborative learning, its performance has deteriorated due to the data heterogeneity of distributed users. Recently, clustered federated learning (CFL) has emerged to address this challenge by partitioning users into clusters according to their similarity. However, CFL faces difficulties in training when users are unwilling to share their cluster identities due to privacy concerns. To address these issues, we present an innovative Efficient and Robust Secure Aggregation scheme for CFL, dubbed EBS-CFL. The proposed EBS-CFL supports effectively training CFL while maintaining users’ cluster identity confidentially. Moreover, it detects potential poisonous attacks without compromising individual client gradients by discarding negatively correlated gradients and aggregating positively correlated ones using a weighted approach. The server also authenticates correct gradient encoding by clients. EBS-CFL has high efficiency with client-side overhead O(ml + m^2) for communication and O(m^2l) for computation, where m is the number of cluster identities, and l is the gradient size. When m = 1, EBS-CFL’s computational efficiency of client is at least O(log n) times better than comparison schemes, where n is the number of clients.In addition, we validate the scheme through extensive experiments. Finally, we theoretically prove the scheme’s security.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google