Stochastic Gradient Methods with Compressed Communication for Decentralized Saddle Point Problems

要約

タイトル: 圧縮通信を用いた確率的勾配法による分散型サドルポイント問題の解法
要約:
– 非中央集権型設定下（中央サーバーの存在しない）で、非滑らかな強く凸な部分と強く凹な部分を持つサドルポイント問題のクラスを解くため、2つの圧縮ベースの確率的勾配アルゴリズムを開発した。
– 1つ目のアルゴリズムは、任意の確率的状況に対して、圧縮付きの再起ベースの分散プロキシマル確率的勾配法（C-RDPSG）である。
– C-RDPSGにはグラデーション計算複雑度と通信複雑度が$ \mathcal{O} ((1+ \delta)^4 \frac{1}{L^2}{\kappa_f^2}\kappa_g^2 \frac{1}{\epsilon}) $ のオーダーがあり、$\epsilon$-正確なサドルポイントソリューションを達成するために厳密な理論的保証を提供する。
– 2つ目のアルゴリズムは、有限和設定に対して圧縮された分散プロキシマル確率的分散削減勾配アルゴリズム（C-DPSVRG）で、勾配計算の複雑度と通信複雑度は、$\mathcal{O} \left((1+\delta) \max \{\kappa_f^2, \sqrt{\delta}\kappa^2_f\kappa_g,\kappa_g \} \log\left(\frac{1}{\epsilon}\right) \right)$ のオーダーがあります。
– アルゴリズムの提案においては、広範な数値実験が行われ、提案アルゴリズムの競争力のある性能が示され、理論結果が支持された。

要約(オリジナル)

We develop two compression based stochastic gradient algorithms to solve a class of non-smooth strongly convex-strongly concave saddle-point problems in a decentralized setting (without a central server). Our first algorithm is a Restart-based Decentralized Proximal Stochastic Gradient method with Compression (C-RDPSG) for general stochastic settings. We provide rigorous theoretical guarantees of C-RDPSG with gradient computation complexity and communication complexity of order $\mathcal{O}( (1+\delta)^4 \frac{1}{L^2}{\kappa_f^2}\kappa_g^2 \frac{1}{\epsilon} )$, to achieve an $\epsilon$-accurate saddle-point solution, where $\delta$ denotes the compression factor, $\kappa_f$ and $\kappa_g$ denote respectively the condition numbers of objective function and communication graph, and $L$ denotes the smoothness parameter of the smooth part of the objective function. Next, we present a Decentralized Proximal Stochastic Variance Reduced Gradient algorithm with Compression (C-DPSVRG) for finite sum setting which exhibits gradient computation complexity and communication complexity of order $\mathcal{O} \left((1+\delta) \max \{\kappa_f^2, \sqrt{\delta}\kappa^2_f\kappa_g,\kappa_g \} \log\left(\frac{1}{\epsilon}\right) \right)$. Extensive numerical experiments show competitive performance of the proposed algorithms and provide support to the theoretical results obtained.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI