On the Computation-Communication Trade-Off with A Flexible Gradient Tracking Approach

要約

ネットワーク上の分散確率的最適化問題を解決するために、調整可能な計算および通信ステップを備えた柔軟な勾配追跡アプローチを提案します。
提案された方法では、各ノードが各ラウンドで複数のローカル勾配更新と複数のノード間通信を実行できるようになり、非 i.i.d. における目的関数とネットワーク トポロジの特性に応じて計算コストと通信コストのバランスを取ることを目的としています。
設定。
適切に設計されたリアプノフ関数を活用して、滑らかで強凸の目的関数で任意の精度を達成するための計算と通信の複雑さの両方を導き出します。
私たちの分析では、収束パフォーマンスがグラフ トポロジと目的関数の特性に大きく依存していることが実証され、計算と通信の間のトレードオフが強調されています。
理論的発見を検証するために数値実験が行われます。

要約(オリジナル)

We propose a flexible gradient tracking approach with adjustable computation and communication steps for solving distributed stochastic optimization problem over networks. The proposed method allows each node to perform multiple local gradient updates and multiple inter-node communications in each round, aiming to strike a balance between computation and communication costs according to the properties of objective functions and network topology in non-i.i.d. settings. Leveraging a properly designed Lyapunov function, we derive both the computation and communication complexities for achieving arbitrary accuracy on smooth and strongly convex objective functions. Our analysis demonstrates sharp dependence of the convergence performance on graph topology and properties of objective functions, highlighting the trade-off between computation and communication. Numerical experiments are conducted to validate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google