Hubs and Spokes Learning: Efficient and Scalable Collaborative Machine Learning

要約

Federated Learning（FL）と分散学習（P2PL）の強みを組み合わせた共同機械学習の新しいパラダイムであるHubs and Spokes Learning（HSL）フレームワークを紹介します。
HSLは、FLに固有の単一の障害点を回避し、最先端のP2PLフレームワーク、流行学習ローカル（ELL）を上回る2層通信構造を採用しています。
平等な通信予算（総エッジ）では、HSLはELLよりも高いパフォーマンスを達成しますが、通信予算が大幅に低いため、ELLのパフォーマンスに匹敵する可能性があります。
たとえば、たった400のエッジのみで、HSLは、CIFAR-10で100のピア（スポーク）でELLが達成するのと同じテスト精度に達し、リソース制約システムへの適合性を示しています。
HSLはまた、混合後にノード間でより強力なコンセンサスを達成し、その結果、トレーニングラウンドが少なくなるとパフォーマンスが向上します。
これらの主張は、厳密な理論分析と広範な実験結果を通じて、大規模な共同学習のためのHSLの実用性を示しています。

要約(オリジナル)

We introduce the Hubs and Spokes Learning (HSL) framework, a novel paradigm for collaborative machine learning that combines the strengths of Federated Learning (FL) and Decentralized Learning (P2PL). HSL employs a two-tier communication structure that avoids the single point of failure inherent in FL and outperforms the state-of-the-art P2PL framework, Epidemic Learning Local (ELL). At equal communication budgets (total edges), HSL achieves higher performance than ELL, while at significantly lower communication budgets, it can match ELL’s performance. For instance, with only 400 edges, HSL reaches the same test accuracy that ELL achieves with 1000 edges for 100 peers (spokes) on CIFAR-10, demonstrating its suitability for resource-constrained systems. HSL also achieves stronger consensus among nodes after mixing, resulting in improved performance with fewer training rounds. We substantiate these claims through rigorous theoretical analyses and extensive experimental results, showcasing HSL’s practicality for large-scale collaborative learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google