Harnessing Increased Client Participation with Cohort-Parallel Federated Learning

要約

Federated Learning (FL) は、ノードが共同してグローバル モデルをトレーニングする機械学習アプローチです。
FL のラウンドに参加するノードが増えると、ノードによる個々のモデル更新の有効性も低下します。
この調査では、ネットワークをより小さなパーティション、つまりコホートに分割することで、クライアントの更新の効率を高めます。
コホート並列フェデレーション学習 (CPFL) を紹介します。これは、各コホートが収束するまで FL を使用してグローバル モデルを個別にトレーニングし、各コホートによって生成されたモデルがワンショットの知識蒸留 (KD) と
クロスドメインのラベルのないデータセット。
CPFL の背後にある洞察は、小規模で分離されたネットワークは、すべてのノードが参加する 1 つのネットワーク設定よりも早く収束するということです。
CIFAR-10 および FEMNIST 画像分類タスクにおける現実的なトレースと非 IID データ分布を含む徹底的な実験を通じて、コホートの数、モデルの精度、トレーニング時間、コンピューティングおよび通信リソースの間のバランスを調査します。
従来の FL と比較して、4 つのコホート、非 IID データ分布、および CIFAR-10 を備えた CPFL では、テスト精度の低下を最小限に抑えながら、トレーニング時間で 1.9$\times$ の削減、リソース使用量で 1.3$\times$ の削減が得られます。
。

要約(オリジナル)

Federated Learning (FL) is a machine learning approach where nodes collaboratively train a global model. As more nodes participate in a round of FL, the effectiveness of individual model updates by nodes also diminishes. In this study, we increase the effectiveness of client updates by dividing the network into smaller partitions, or cohorts. We introduce Cohort-Parallel Federated Learning (CPFL): a novel learning approach where each cohort independently trains a global model using FL, until convergence, and the produced models by each cohort are then unified using one-shot Knowledge Distillation (KD) and a cross-domain, unlabeled dataset. The insight behind CPFL is that smaller, isolated networks converge quicker than in a one-network setting where all nodes participate. Through exhaustive experiments involving realistic traces and non-IID data distributions on the CIFAR-10 and FEMNIST image classification tasks, we investigate the balance between the number of cohorts, model accuracy, training time, and compute and communication resources. Compared to traditional FL, CPFL with four cohorts, non-IID data distribution, and CIFAR-10 yields a 1.9$\times$ reduction in train time and a 1.3$\times$ reduction in resource usage, with a minimal drop in test accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google