A Computation and Communication Efficient Method for Distributed Nonconvex Problems in the Partial Participation Setting

要約

我々は、分散最適化と連合学習の3つの重要な要素である、確率勾配の分散削減、部分参加、圧縮通信を含む新しい手法を提案する。この新しい手法は、部分参加設定において、最適な託宣複雑度と最先端の通信複雑度を持つことを証明する。通信圧縮の特徴に関わらず、本手法は分散削減と部分参加の組み合わせに成功しており、最適なオラクル複雑度が得られ、全ノードの参加を必要とせず、境界付き勾配（非類似性）の仮定を必要としない。

要約(オリジナル)

We present a new method that includes three key components of distributed optimization and federated learning: variance reduction of stochastic gradients, partial participation, and compressed communication. We prove that the new method has optimal oracle complexity and state-of-the-art communication complexity in the partial participation setting. Regardless of the communication compression feature, our method successfully combines variance reduction and partial participation: we get the optimal oracle complexity, never need the participation of all nodes, and do not require the bounded gradients (dissimilarity) assumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL