Unbiased Compression Saves Communication in Distributed Optimization: When and How Much?

要約

通信圧縮は分散最適化における一般的な手法で、圧縮された勾配とモデル パラメーターを送信することで通信のオーバーヘッドを軽減できます。
ただし、圧縮により情報の歪みが生じる可能性があり、これにより収束が遅くなり、目的の解決策を達成するためにより多くの通信ラウンドが発生します。
ラウンドごとの通信コストの削減と追加の通信ラウンドとの間のトレードオフを考慮すると、通信の圧縮によって総通信コストが削減されるかどうかは不明です。
このペーパーでは、広く使用されている圧縮形式である不偏圧縮が総通信コストを削減できる条件と、それがどの程度削減できるかを検討します。
この目的を達成するために、通信圧縮を伴う分散最適化における総通信コストを特徴付けるための最初の理論式を提示します。
不偏圧縮だけでは必ずしも総通信コストを節約できるわけではありませんが、すべてのワーカーが使用するコンプレッサーがさらに独立していると仮定すると、この結果を達成できることを示します。
滑らかな凸関数を最小限に抑えるために独立した不偏コンプレッサーを使用するアルゴリズムで必要な通信ラウンドの下限を確立し、ADIANA の解析を改良することでこれらの下限が厳しいことを示します。
私たちの結果は、独立した不偏圧縮を使用すると、総通信コストを最大 $\Theta(\sqrt{\min\{n, \kappa\}})$ まで削減できることが明らかになりました ($n$ はワーカーの数)
$\kappa$ は最小化される関数の条件番号です。
これらの理論的発見は実験結果によって裏付けられています。

要約(オリジナル)

Communication compression is a common technique in distributed optimization that can alleviate communication overhead by transmitting compressed gradients and model parameters. However, compression can introduce information distortion, which slows down convergence and incurs more communication rounds to achieve desired solutions. Given the trade-off between lower per-round communication costs and additional rounds of communication, it is unclear whether communication compression reduces the total communication cost. This paper explores the conditions under which unbiased compression, a widely used form of compression, can reduce the total communication cost, as well as the extent to which it can do so. To this end, we present the first theoretical formulation for characterizing the total communication cost in distributed optimization with communication compression. We demonstrate that unbiased compression alone does not necessarily save the total communication cost, but this outcome can be achieved if the compressors used by all workers are further assumed independent. We establish lower bounds on the communication rounds required by algorithms using independent unbiased compressors to minimize smooth convex functions, and show that these lower bounds are tight by refining the analysis for ADIANA. Our results reveal that using independent unbiased compression can reduce the total communication cost by a factor of up to $\Theta(\sqrt{\min\{n, \kappa\}})$, where $n$ is the number of workers and $\kappa$ is the condition number of the functions being minimized. These theoretical findings are supported by experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google