FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning

要約

クライアント間でのデータの異質性は、Federated Learning (FL) における重要な課題の 1 つであり、グローバル モデルの収束が遅くなり、グローバル モデルのパフォーマンスが低下する可能性があります。
既存のアプローチのほとんどは、サーバーによって提供されるグローバル情報を参照することでローカル モデルの更新を制限することで異質性に取り組んでいます。
これにより、集約されたグローバル モデルのパフォーマンスの低下を軽減できます。
既存の手法とは異なり、クライアント間の情報交換に重点を置くことで、ローカルトレーニングの効果を高め、高パフォーマンスのグローバルモデルの生成にもつながる可能性があります。
具体的には、クライアントマッチングと分類子交換による新しいFLフレームワークFedCMEを提案します。
FedCME では、データ分布に大きな違いがあるクライアントがペアでマッチングされ、対応するクライアントのペアが中間瞬間のローカル トレーニングの段階で分類器を交換します。
ローカルデータはローカルモデルのトレーニング方向を決定するため、私たちの方法は分類器の更新方向を修正し、ローカル更新の発散を効果的に軽減できます。
さらに、特徴抽出器のトレーニングを強化するために特徴の調整を提案します。
実験結果は、データが異種の場合、FMNIST や CIFAR10 などの一般的なフェデレーテッド ラーニング ベンチマークにおいて、FedCME が FedAvg、FedProx、MOON、および FedRS よりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Data heterogeneity across clients is one of the key challenges in Federated Learning (FL), which may slow down the global model convergence and even weaken global model performance. Most existing approaches tackle the heterogeneity by constraining local model updates through reference to global information provided by the server. This can alleviate the performance degradation on the aggregated global model. Different from existing methods, we focus the information exchange between clients, which could also enhance the effectiveness of local training and lead to generate a high-performance global model. Concretely, we propose a novel FL framework named FedCME by client matching and classifier exchanging. In FedCME, clients with large differences in data distribution will be matched in pairs, and then the corresponding pair of clients will exchange their classifiers at the stage of local training in an intermediate moment. Since the local data determines the local model training direction, our method can correct update direction of classifiers and effectively alleviate local update divergence. Besides, we propose feature alignment to enhance the training of the feature extractor. Experimental results demonstrate that FedCME performs better than FedAvg, FedProx, MOON and FedRS on popular federated learning benchmarks including FMNIST and CIFAR10, in the case where data are heterogeneous.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google