Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity

要約

非同期確率的勾配降下（非同期SGD）は、分散型機械学習における学習を並列化するための基礎的な方法です。
ただし、そのパフォーマンスは、労働者間の任意の不均一な計算時間の下で苦しみ、労働者の数としての最適な時間の複雑さと非効率性につながります。
いくつかの非同期SGDバリアントが提案されていますが、Tyurin＆Richt \ ‘Arik（Neurips 2023）による最近の調査結果は、最適な時間の複雑さを達成しないことを明らかにしており、文献に大きなギャップを残しています。
この論文では、これらの制限に対処し、非同期SGDの固有の課題を把握するために設計された新しい非同期SGDメソッドであるRingmaster ASGDを提案します。
厳密な理論分析を通じて、Ringmaster ASGDは、任意の不均一で動的に変動する労働者の計算時間の下で最適な時間の複雑さを達成することを確立します。
これにより、このようなシナリオでの時間の複雑さのために理論的な下限を満たす最初の非同期SGDメソッドになります。

要約(オリジナル)

Asynchronous Stochastic Gradient Descent (Asynchronous SGD) is a cornerstone method for parallelizing learning in distributed machine learning. However, its performance suffers under arbitrarily heterogeneous computation times across workers, leading to suboptimal time complexity and inefficiency as the number of workers scales. While several Asynchronous SGD variants have been proposed, recent findings by Tyurin & Richt\’arik (NeurIPS 2023) reveal that none achieve optimal time complexity, leaving a significant gap in the literature. In this paper, we propose Ringmaster ASGD, a novel Asynchronous SGD method designed to address these limitations and tame the inherent challenges of Asynchronous SGD. We establish, through rigorous theoretical analysis, that Ringmaster ASGD achieves optimal time complexity under arbitrarily heterogeneous and dynamically fluctuating worker computation times. This makes it the first Asynchronous SGD method to meet the theoretical lower bounds for time complexity in such scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google