DASA: Delay-Adaptive Multi-Agent Stochastic Approximation

要約

$N$ エージェントが並行して動作し、中央サーバーと通信することで、一般的な確率近似 (SA) 問題の高速化を目指す設定を考えます。
サーバーへのアップリンク送信は非同期で、場合によっては無制限の時間変動遅延の影響を受けると想定しています。
分散計算のメリットを享受しながら遅延と滞りの影響を軽減するために、マルチエージェント確率的近似のための遅延適応アルゴリズムである \texttt{DASA} を提案します。
エージェントの確率的観測プロセスが独立したマルコフ連鎖であると仮定して、 \texttt{DASA} の有限時間分析を提供します。
既存の結果を大幅に進歩させた \texttt{DASA} は、収束率が混合時間 $\tau_{mix}$ と平均遅延 $\tau_{avg}$ のみに依存し、同時に $N$- を達成する最初のアルゴリズムです。
マルコフサンプリングの下で​​の倍数収束の高速化。
私たちの研究は、マルチエージェントおよび分散型時間差分 (TD) 学習、Q 学習、相関データによる確率的最適化など、さまざまな SA アプリケーションに関連しています。

要約(オリジナル)

We consider a setting in which $N$ agents aim to speedup a common Stochastic Approximation (SA) problem by acting in parallel and communicating with a central server. We assume that the up-link transmissions to the server are subject to asynchronous and potentially unbounded time-varying delays. To mitigate the effect of delays and stragglers while reaping the benefits of distributed computation, we propose \texttt{DASA}, a Delay-Adaptive algorithm for multi-agent Stochastic Approximation. We provide a finite-time analysis of \texttt{DASA} assuming that the agents’ stochastic observation processes are independent Markov chains. Significantly advancing existing results, \texttt{DASA} is the first algorithm whose convergence rate depends only on the mixing time $\tau_{mix}$ and on the average delay $\tau_{avg}$ while jointly achieving an $N$-fold convergence speedup under Markovian sampling. Our work is relevant for various SA applications, including multi-agent and distributed temporal difference (TD) learning, Q-learning and stochastic optimization with correlated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google