FS-Real: Towards Real-World Cross-Device Federated Learning

要約

フェデレーテッド ラーニング (FL) は、ローカル データをアップロードすることなく、分散したクライアントと協力して高品質のモデルをトレーニングすることを目的としています。これは、学界と産業界の両方でますます注目されています。
ただし、主に異種デバイスとそのスケールの特性が原因で、盛んな FL 研究と現実世界のシナリオの間にはまだかなりのギャップがあります。
ほとんどの既存の作品は、実世界のシナリオにおける異種デバイスの多様性と可変性と一致しない同種デバイスで評価を行っています。
さらに、限られたリソースと複雑なソフトウェア スタックにより、異種デバイスを使用して大規模な研究開発を行うことは困難です。
これらの 2 つの重要な要素は重要ですが、FL トレーニングのダイナミクスと最終的なパフォーマンスに直接影響を与え、FL アルゴリズムの有効性と有用性を不明確にするため、FL 研究では十分に調査されていません。
このギャップを埋めるために、この論文では、実世界のクロスデバイス FL、FS-Real のための効率的でスケーラブルなプロトタイピング システムを提案します。
異種デバイス ランタイムをサポートし、並列性と堅牢性が強化された FL サーバーを含み、パーソナライゼーション、通信圧縮、非同期集約などの高度な FL ユーティリティ機能の実装と拡張性を提供します。
FS-Real の使いやすさと効率性を実証するために、さまざまなデバイス分布で広範な実験を行い、異種デバイスとさまざまなスケールの影響を定量化して分析し、さらに洞察を提供し、現実世界の FL シナリオに関するオープンな議論を行います。
私たちのシステムは、さらなる現実世界の FL 研究と、さまざまなデバイスとスケールを含む幅広いアプリケーションへの道を開くためにリリースされました。

要約(オリジナル)

Federated Learning (FL) aims to train high-quality models in collaboration with distributed clients while not uploading their local data, which attracts increasing attention in both academia and industry. However, there is still a considerable gap between the flourishing FL research and real-world scenarios, mainly caused by the characteristics of heterogeneous devices and its scales. Most existing works conduct evaluations with homogeneous devices, which are mismatched with the diversity and variability of heterogeneous devices in real-world scenarios. Moreover, it is challenging to conduct research and development at scale with heterogeneous devices due to limited resources and complex software stacks. These two key factors are important yet underexplored in FL research as they directly impact the FL training dynamics and final performance, making the effectiveness and usability of FL algorithms unclear. To bridge the gap, in this paper, we propose an efficient and scalable prototyping system for real-world cross-device FL, FS-Real. It supports heterogeneous device runtime, contains parallelism and robustness enhanced FL server, and provides implementations and extensibility for advanced FL utility features such as personalization, communication compression and asynchronous aggregation. To demonstrate the usability and efficiency of FS-Real, we conduct extensive experiments with various device distributions, quantify and analyze the effect of the heterogeneous device and various scales, and further provide insights and open discussions about real-world FL scenarios. Our system is released to help to pave the way for further real-world FL research and broad applications involving diverse devices and scales.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google