FedAC: A Adaptive Clustered Federated Learning Framework for Heterogeneous Data

要約

クラスター化フェデレーテッド ラーニング (CFL) は、クラスターごとのモデル トレーニングのために類似したクライアントをグループ化することにより、フェデレーテッド ラーニング (FL) におけるデータの異質性に起因するパフォーマンスの低下を軽減するために提案されています。
しかし、現在の CFL 手法は、グローバルおよびクラスター内の知識の統合が不十分であり、効率的なオンライン モデルの類似性メトリックが欠如しているため、困難に直面しており、クラスター数を固定ハイパーパラメーターとして扱うため、柔軟性と堅牢性が制限されています。
この論文では、FedAC と呼ばれる適応型 CFL フレームワークを提案します。このフレームワークは、(1) ニューラル ネットワークを分離し、サブモジュールごとに異なる集計方法を利用することで、グローバルな知識をクラスター内学習に効率的に統合し、パフォーマンスを大幅に向上させます。
(2) 次元削減に基づいた費用効果の高いオンライン モデルの類似性メトリックが含まれます。
(3) クラスター数微調整モジュールを組み込んで、複雑で異種環境における適応性と拡張性を向上させます。
広範な実験により、FedAC が優れた経験的パフォーマンスを達成し、SOTA 手法と比較して、CIFAR-10 および CIFAR-100 データセットのテスト精度がそれぞれ約 1.82% および 12.67% 向上することが示されています。

要約(オリジナル)

Clustered federated learning (CFL) is proposed to mitigate the performance deterioration stemming from data heterogeneity in federated learning (FL) by grouping similar clients for cluster-wise model training. However, current CFL methods struggle due to inadequate integration of global and intra-cluster knowledge and the absence of an efficient online model similarity metric, while treating the cluster count as a fixed hyperparameter limits flexibility and robustness. In this paper, we propose an adaptive CFL framework, named FedAC, which (1) efficiently integrates global knowledge into intra-cluster learning by decoupling neural networks and utilizing distinct aggregation methods for each submodule, significantly enhancing performance; (2) includes a costeffective online model similarity metric based on dimensionality reduction; (3) incorporates a cluster number fine-tuning module for improved adaptability and scalability in complex, heterogeneous environments. Extensive experiments show that FedAC achieves superior empirical performance, increasing the test accuracy by around 1.82% and 12.67% on CIFAR-10 and CIFAR-100 datasets, respectively, under different non-IID settings compared to SOTA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google