LCFed: An Efficient Clustered Federated Learning Framework for Heterogeneous Data

要約

クラスタ連携学習（CFL）は、データ分布が類似したエッジデバイスをクラスタに編成し、各グループに合わせた協調的なモデル学習を可能にすることで、連携学習（FL）におけるデータの不均一性がもたらす性能課題に対処する。しかし、既存のCFLアプローチでは、知識の共有がクラスタ内に限定されており、クラスタ内学習とグローバルな知識の統合が欠けているため、パフォーマンスが最適化されていない。さらに、従来のクラスタリング手法では、特にエッジデバイスの数が増えるにつれて、計算オーバーヘッドが大きくなる。本論文では、これらの課題に対処するための効率的なCFLフレームワークであるLCFedを提案する。モデルの分割を活用し、各サブモデルに対して異なる集約戦略を採用することで、LCFedはクラスタ内協調学習にグローバルな知識を効果的に組み込み、最適な学習性能を達成する。さらに、LCFedは低ランクモデルに基づく計算効率の高いモデル類似性測定法をカスタマイズすることで、最小限の計算オーバーヘッドでリアルタイムのクラスタ更新を可能にしている。広範な実験により、LCFedはテスト精度とクラスタリング計算効率の両方において、最先端のベンチマークを凌駕することが示されている。

要約(オリジナル)

Clustered federated learning (CFL) addresses the performance challenges posed by data heterogeneity in federated learning (FL) by organizing edge devices with similar data distributions into clusters, enabling collaborative model training tailored to each group. However, existing CFL approaches strictly limit knowledge sharing to within clusters, lacking the integration of global knowledge with intra-cluster training, which leads to suboptimal performance. Moreover, traditional clustering methods incur significant computational overhead, especially as the number of edge devices increases. In this paper, we propose LCFed, an efficient CFL framework to combat these challenges. By leveraging model partitioning and adopting distinct aggregation strategies for each sub-model, LCFed effectively incorporates global knowledge into intra-cluster co-training, achieving optimal training performance. Additionally, LCFed customizes a computationally efficient model similarity measurement method based on low-rank models, enabling real-time cluster updates with minimal computational overhead. Extensive experiments show that LCFed outperforms state-of-the-art benchmarks in both test accuracy and clustering computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL