DADAO: Decoupled Accelerated Decentralized Asynchronous Optimization

要約

この作業は、DADAO を導入します。これは、サイズ $n$ の特定のネットワーク上に分散された $L$-smooth 関数と $\mu$-strongly 凸関数の合計を最小化する、最初の分散化され、高速化された、非同期の主な 1 次アルゴリズムです。
私たちの重要な洞察は、個別の独立したポアソン点プロセスを使用して、ローカル勾配の更新とゴシップ通信手順をモデル化することに基づいています。
これにより、並列に実行できる計算と通信のステップを切り離すことができ、アプローチ全体を完全に非同期にすることができ、同期アプローチと比較して通信の高速化につながります。
私たちの新しい方法は主勾配を採用し、マルチコンセンサスの内部ループも、エラー フィードバック、勾配追跡、または近接演算子などの他のアドホック メカニズムも使用しません。
ラプラシアン行列 $\chi_1$ の最小の正の固有値とグラフの最大抵抗 $\chi_2\leq \chi_1$ の逆数を、ネットワークのノード間の十分な最小通信速度に関連付けることにより、アルゴリズムが
$\mathcal{O}(n\sqrt{\frac{L}{\mu}}\log(\frac{1}{\epsilon}))$ 局所勾配と $\mathcal{O}(n\
sqrt{\chi_1\chi_2}\sqrt{\frac{L}{\mu}}\log(\frac{1}{\epsilon}))$ 対数項までの精度 $\epsilon$ に到達するための通信。
したがって、計算と通信の両方の速度を同時に加速し、最先端の作業を改善し、シミュレーションにより、比較的制約のない方法の強度がさらに検証されます。
また、SDP 緩和を提案して、特定のグラフの通信の総数を最小化する各エッジの最適なゴシップ レートを見つけ、均一な通信重みに依存する標準的なアプローチと比較して収束を高速化します。
私たちのソース コードは、パブリック リポジトリでリリースされています。

要約(オリジナル)

This work introduces DADAO: the first decentralized, accelerated, asynchronous, primal, first-order algorithm to minimize a sum of $L$-smooth and $\mu$-strongly convex functions distributed over a given network of size $n$. Our key insight is based on modeling the local gradient updates and gossip communication procedures with separate independent Poisson Point Processes. This allows us to decouple the computation and communication steps, which can be run in parallel, while making the whole approach completely asynchronous, leading to communication acceleration compared to synchronous approaches. Our new method employs primal gradients and does not use a multi-consensus inner loop nor other ad-hoc mechanisms such as Error Feedback, Gradient Tracking, or a Proximal operator. By relating the inverse of the smallest positive eigenvalue of the Laplacian matrix $\chi_1$ and the maximal resistance $\chi_2\leq \chi_1$ of the graph to a sufficient minimal communication rate between the nodes of the network, we show that our algorithm requires $\mathcal{O}(n\sqrt{\frac{L}{\mu}}\log(\frac{1}{\epsilon}))$ local gradients and only $\mathcal{O}(n\sqrt{\chi_1\chi_2}\sqrt{\frac{L}{\mu}}\log(\frac{1}{\epsilon}))$ communications to reach a precision $\epsilon$, up to logarithmic terms. Thus, we simultaneously obtain an accelerated rate for both computations and communications, leading to an improvement over state-of-the-art works, our simulations further validating the strength of our relatively unconstrained method. We also propose a SDP relaxation to find the optimal gossip rate of each edge minimizing the total number of communications for a given graph, resulting in faster convergence compared to standard approaches relying on uniform communication weights. Our source code is released on a public repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google