FedCompass: Efficient Cross-Silo Federated Learning on Heterogeneous Client Devices using a Computing Power Aware Scheduler

要約

クロスサイロのフェデレーテッド ラーニングは、ローカル データセット (医療、金融、一元化されたデータ機能を持たない科学プロジェクトなど) のプライバシーを損なうことなく、堅牢で一般化された AI モデルを共同でトレーニングするための有望なソリューションを提供します。
それにもかかわらず、異なるクライアント間のコンピューティング リソースの不均衡 (つまり、デバイスの異質性) のため、同期フェデレーテッド ラーニング アルゴリズムは、ストラグラー クライアントを待機する際の効率の低下に悩まされます。
同様に、非同期フェデレーテッド ラーニング アルゴリズムでは、非同一かつ独立に分散された (非 IID) 異種データセットでは、古いローカル モデルとクライアント ドリフトにより、収束率と最終モデルの精度が低下します。
異種クライアントとデータを使用したクロスサイロ連合学習におけるこれらの制限に対処するために、サーバー側にコンピューティング能力を意識したスケジューラーを備えた革新的な半非同期連合学習アルゴリズムである FedCompass を提案します。これは、さまざまな量のトレーニング タスクを異なるタスクに適応的に割り当てます。
クライアントは、個々のクライアントのコンピューティング能力の知識を使用します。
FedCompass は、クライアントからローカルでトレーニングされた複数のモデルをほぼ同時にグループとして受信して集約することを保証し、ローカル モデルの古さを効果的に軽減します。
同時に、全体的なトレーニング プロセスは非同期のままであるため、遅れているクライアントからの長時間の待ち時間がなくなります。
多様な非 IID 異種分散データセットを使用して、FedCompass が異種クライアント上でフェデレーテッド ラーニングを実行する際に、同期アルゴリズムよりも効率的でありながら、他の非同期アルゴリズムよりも高速な収束と高精度を達成できることを実証します。
FedCompass のソース コードは https://github.com/APPFL/FedCompass で入手できます。

要約(オリジナル)

Cross-silo federated learning offers a promising solution to collaboratively train robust and generalized AI models without compromising the privacy of local datasets, e.g., healthcare, financial, as well as scientific projects that lack a centralized data facility. Nonetheless, because of the disparity of computing resources among different clients (i.e., device heterogeneity), synchronous federated learning algorithms suffer from degraded efficiency when waiting for straggler clients. Similarly, asynchronous federated learning algorithms experience degradation in the convergence rate and final model accuracy on non-identically and independently distributed (non-IID) heterogeneous datasets due to stale local models and client drift. To address these limitations in cross-silo federated learning with heterogeneous clients and data, we propose FedCompass, an innovative semi-asynchronous federated learning algorithm with a computing power-aware scheduler on the server side, which adaptively assigns varying amounts of training tasks to different clients using the knowledge of the computing power of individual clients. FedCompass ensures that multiple locally trained models from clients are received almost simultaneously as a group for aggregation, effectively reducing the staleness of local models. At the same time, the overall training process remains asynchronous, eliminating prolonged waiting periods from straggler clients. Using diverse non-IID heterogeneous distributed datasets, we demonstrate that FedCompass achieves faster convergence and higher accuracy than other asynchronous algorithms while remaining more efficient than synchronous algorithms when performing federated learning on heterogeneous clients. The source code for FedCompass is available at https://github.com/APPFL/FedCompass.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google