Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training

要約

Federated Learning (FL) では、クライアントのデバイスが脆弱で、完全なモデルをトレーニングしたり、モデルをメモリ空間に保持したりできない場合があります。
したがって、大規模な FL アプリケーションを実装するには、そのような弱いクライアントの参加を可能にする分散学習手法を開発することが重要です。
私たちは、システム リソースの容量に関係なく、利用可能なすべてのクライアントが分散トレーニングに参加できるようにする一般的な FL フレームワークである EmbracingFL を提案します。
このフレームワークは、各クライアントがシステム リソースが許す限り多くの連続した出力側レイヤーをトレーニングする新しい形式の部分モデル トレーニング方法に基づいて構築されています。
私たちの研究は、EmbracingFL が各レイヤーがクライアント間で同様のデータ表現を持つことを奨励し、FL の効率を向上させることを示しています。
提案された部分モデルのトレーニング方法は、非凸で滑らかな問題の静止点の近傍への収束を保証します。
強力、中程度 (メモリ約 40%)、および弱い (メモリ約 15%) のクライアント、データセット (CIFAR-10、FEMNIST、IMDB)、およびモデルを組み合わせたさまざまな設定の下で、EmbracingFL の有効性を評価します。
(ResNet20、CNN、および LSTM)。
私たちの実証研究によると、EmbracingFL はすべてのクライアントと同様に強力であるため、一貫して高い精度を達成し、最先端の幅削減手法 (つまり HeteroFL や FjORD) を上回るパフォーマンスを示しています。

要約(オリジナル)

In Federated Learning (FL), clients may have weak devices that cannot train the full model or even hold it in their memory space. To implement large-scale FL applications, thus, it is crucial to develop a distributed learning method that enables the participation of such weak clients. We propose EmbracingFL, a general FL framework that allows all available clients to join the distributed training regardless of their system resource capacity. The framework is built upon a novel form of partial model training method in which each client trains as many consecutive output-side layers as its system resources allow. Our study demonstrates that EmbracingFL encourages each layer to have similar data representations across clients, improving FL efficiency. The proposed partial model training method guarantees convergence to a neighbor of stationary points for non-convex and smooth problems. We evaluate the efficacy of EmbracingFL under a variety of settings with a mixed number of strong, moderate (~40% memory), and weak (~15% memory) clients, datasets (CIFAR-10, FEMNIST, and IMDB), and models (ResNet20, CNN, and LSTM). Our empirical study shows that EmbracingFL consistently achieves high accuracy as like all clients are strong, outperforming the state-of-the-art width reduction methods (i.e. HeteroFL and FjORD).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google