Scale-Robust Timely Asynchronous Decentralized Learning

要約

私たちは、集中パラメータ サーバーを使用せずに機械学習モデルを学習しようとする接続されたデバイスのネットワークで構成される非同期分散学習システムを検討します。
ネットワーク内のユーザーは、ネットワーク内のすべてのノードにわたる学習に使用される独自のローカル トレーニング データを持っています。
この学習方法は 2 つのプロセスで構成されており、必要な同期を必要とせずに同時に進化します。
最初のプロセスはモデルの更新で、ユーザーは固定数の確率的勾配降下ステップを介してローカル モデルを更新します。
2 番目のプロセスはモデルの混合です。ここでは、ユーザーがランダム化された噂話を介して互いに通信し、モデルを交換し、それらを平均して合意に達します。
この研究では、個々のユーザー モデルが収束するための十分条件である、このようなシステムの古さの基準を調査します。
ネットワークのスケーリング、つまり、ユーザー デバイス $n$ の数が非常に大きい場合、個々のユーザーのゴシップ容量が $\Omega(\log n)$ としてスケールされる場合、ユーザー モデルの収束を保証できることを示します。
有限な時間。
さらに、有限の古さは $\Omega(n)$ スケーリングによる分散日和見スキームによってのみ保証できることを示します。

要約(オリジナル)

We consider an asynchronous decentralized learning system, which consists of a network of connected devices trying to learn a machine learning model without any centralized parameter server. The users in the network have their own local training data, which is used for learning across all the nodes in the network. The learning method consists of two processes, evolving simultaneously without any necessary synchronization. The first process is the model update, where the users update their local model via a fixed number of stochastic gradient descent steps. The second process is model mixing, where the users communicate with each other via randomized gossiping to exchange their models and average them to reach consensus. In this work, we investigate the staleness criteria for such a system, which is a sufficient condition for convergence of individual user models. We show that for network scaling, i.e., when the number of user devices $n$ is very large, if the gossip capacity of individual users scales as $\Omega(\log n)$, we can guarantee the convergence of user models in finite time. Furthermore, we show that the bounded staleness can only be guaranteed by any distributed opportunistic scheme by $\Omega(n)$ scaling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google