Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees

要約

タイトル：Optimizationにおける非同期イテレーション：新しい順序の結果とより厳密なアルゴリズムの保証

要約：

– 並列および分散最適化アルゴリズムの分析に現れる非同期イテレーションの収束結果について新しい発見をしました。
– 結果は適用が容易であり、非同期性の度合いがイテレーションの収束率にどのように影響するかの明示的な評価を与えます。
– 従来の非同期最適化手法の収束証明を短縮、簡素化、強化し、完全な理論的理解が欠けていた人気のアルゴリズムの収束保証を確立することができます。
– 具体的には、Proximal Incremental Aggregated Gradient Methodsのより良いイテレーションの複雑性の境界を導き、非同期確率的勾配降下法の最大遅延ではなく平均遅延に依存するより厳密な保証を得るために、非同期ブロック座標Krasnoselskii-Mannイテレーションのスピードアップ条件のより保守的な分析を提供し、通信遅延と更新率に関する様々な仮定の下で完全非同期イテレーションの収束率を定量化します。

要約(オリジナル)

We introduce novel convergence results for asynchronous iterations that appear in the analysis of parallel and distributed optimization algorithms. The results are simple to apply and give explicit estimates for how the degree of asynchrony impacts the convergence rates of the iterates. Our results shorten, streamline and strengthen existing convergence proofs for several asynchronous optimization methods and allow us to establish convergence guarantees for popular algorithms that were thus far lacking a complete theoretical understanding. Specifically, we use our results to derive better iteration complexity bounds for proximal incremental aggregated gradient methods, to obtain tighter guarantees depending on the average rather than maximum delay for the asynchronous stochastic gradient descent method, to provide less conservative analyses of the speedup conditions for asynchronous block-coordinate implementations of Krasnoselskii-Mann iterations, and to quantify the convergence rates for totally asynchronous iterations under various assumptions on communication delays and update rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI