Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression

要約

大規模な分散確率最適化において、計算ノード間でやりとりされる情報量を減らし、通信オーバーヘッドを軽減するためには、通信圧縮が不可欠な戦略である。収束保証のあるアルゴリズムが数多く得られているが、通信圧縮下での最適性能限界は依然として不明である。 本論文では、通信圧縮を採用した分散確率最適化アルゴリズムの性能限界について調査する。我々は、不偏圧縮と契約圧縮の2つの圧縮方式に焦点を当て、これらの圧縮方式で得られる最適な収束率に取り組む。強凸関数、一般凸関数、非凸関数と不偏圧縮器、収縮圧縮器を組み合わせた6種類の設定において、分散確率最適化の収束率の下界を確立する。下界と既存アルゴリズムの収束率のギャップを埋めるために、我々はNEOLITHICという圧縮を用いたほぼ最適なアルゴリズムを提案し、穏やかな条件下で確立した下界を対数倍まで達成する。広範な実験結果は、我々の理論的知見を支持するものである。この研究は、既存の圧縮機の理論的限界に対する洞察を提供し、根本的に新しい圧縮機の特性に対するさらなる研究の動機付けとなる。

要約(オリジナル)

Communication compression is an essential strategy for alleviating communication overhead by reducing the volume of information exchanged between computing nodes in large-scale distributed stochastic optimization. Although numerous algorithms with convergence guarantees have been obtained, the optimal performance limit under communication compression remains unclear. In this paper, we investigate the performance limit of distributed stochastic optimization algorithms employing communication compression. We focus on two main types of compressors, unbiased and contractive, and address the best-possible convergence rates one can obtain with these compressors. We establish the lower bounds for the convergence rates of distributed stochastic optimization in six different settings, combining strongly-convex, generally-convex, or non-convex functions with unbiased or contractive compressor types. To bridge the gap between lower bounds and existing algorithms’ rates, we propose NEOLITHIC, a nearly optimal algorithm with compression that achieves the established lower bounds up to logarithmic factors under mild conditions. Extensive experimental results support our theoretical findings. This work provides insights into the theoretical limitations of existing compressors and motivates further research into fundamentally new compressor properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL