Scheduling and Communication Schemes for Decentralized Federated Learning

要約

フェデレーテッド ラーニング (FL) は、多数のクライアントが中央サーバーと連携して、独自のトレーニング データを共有せずにモデルを学習する分散機械学習パラダイムです。
クライアントとの接続に問題があるため、中央サーバーが 1 台だけでは十分ではありません。
この論文では、任意のトポロジーを持つエージェントのネットワークにおける学習パフォーマンスを向上させるためのよりスケーラブルなアプローチとして、確率的勾配降下法 (SGD) アルゴリズムを使用した分散連合学習 (DFL) モデルが紹介されました。
クライアントと並列サーバー間の通信に対して DFL の 3 つのスケジューリング ポリシーが提案され、SGD の完全分散実装で収束、精度、損失がテストされました。
実験結果は、提案されたスケジューリング ポリシーが収束速度と最終的なグローバル モデルの両方に影響を与えることを示しています。

要約(オリジナル)

Federated learning (FL) is a distributed machine learning paradigm in which a large number of clients coordinate with a central server to learn a model without sharing their own training data. One central server is not enough, due to problems of connectivity with clients. In this paper, a decentralized federated learning (DFL) model with the stochastic gradient descent (SGD) algorithm has been introduced, as a more scalable approach to improve the learning performance in a network of agents with arbitrary topology. Three scheduling policies for DFL have been proposed for communications between the clients and the parallel servers, and the convergence, accuracy, and loss have been tested in a totally decentralized mplementation of SGD. The experimental results show that the proposed scheduling polices have an impact both on the speed of convergence and in the final global model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google