Stochastic Clustered Federated Learning

要約

フェデレーション ラーニングは、エッジ デバイスに保持されているプラ​​イベート データ サンプルを最大限に活用する分散型学習フレームワークです。
実際のフェデレーテッド ラーニング システムでは、これらのデータ サンプルは分散化され、非独立同一分散 (非 IID) であることが多く、フェデレーテッド ラーニング プロセスで発散とパフォーマンスの低下を引き起こします。
新しいソリューションとして、クラスター化されたフェデレーテッド ラーニング グループは、同様のデータ分布を持つクライアントをフェデレーションして、非 IID 効果を弱め、すべてのクラスターのより良いモデルをトレーニングしました。
この論文では、一般的な非 IID 問題に対する新しいクラスター化連合学習アプローチである StoCFL を提案します。
詳細には、StoCFL は柔軟な CFL フレームワークを実装します。このフレームワークは、モデルのパフォーマンスを大幅に向上させながら、さまざまな FL システムに対して任意の比率のクライアント参加と新しく参加したクライアントをサポートします。
集中的な実験は、4 つの基本的な非 IID 設定と現実世界のデータセットを使用して行われます。
結果は、クラスターの数が不明な場合でも、StoCFL が有望なクラスター結果を取得できることを示しています。
クライアント クラスタリングの結果に基づいて、StoCFL でトレーニングされたモデルは、さまざまなコンテキストでベースライン アプローチより優れています。

要約(オリジナル)

Federated learning is a distributed learning framework that takes full advantage of private data samples kept on edge devices. In real-world federated learning systems, these data samples are often decentralized and Non-Independently Identically Distributed (Non-IID), causing divergence and performance degradation in the federated learning process. As a new solution, clustered federated learning groups federated clients with similar data distributions to impair the Non-IID effects and train a better model for every cluster. This paper proposes StoCFL, a novel clustered federated learning approach for generic Non-IID issues. In detail, StoCFL implements a flexible CFL framework that supports an arbitrary proportion of client participation and newly joined clients for a varying FL system, while maintaining a great improvement in model performance. The intensive experiments are conducted by using four basic Non-IID settings and a real-world dataset. The results show that StoCFL could obtain promising cluster results even when the number of clusters is unknown. Based on the client clustering results, models trained with StoCFL outperform baseline approaches in a variety of contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google