Tight analyses of first-order methods with error feedback

要約

エージェント間の通信は、分散学習における主要な計算ボトルネックになることがよくあります。
最も一般的な緩和戦略の1つは、交換された情報を圧縮し、それによりコミュニケーションのオーバーヘッドを削減することです。
圧縮通信に関連する収束の分解に対抗するために、エラーフィードバックスキーム（特に$ \ mathrm {ef} $および$ \ mathrm {ef}^{21} $）が導入されました。
この作業では、これらの両方の方法の厳しい分析を提供します。
具体的には、各メソッドの可能な限り最高の収束速度を生成するLyapunov関数が、下限が一致することがわかります。
この原則的なアプローチは、急激なパフォーマンス保証をもたらし、$ \ mathrm {ef} $、$ \ mathrm {ef}^{21} $、および圧縮勾配降下の間の厳格なリンゴとアプリの比較を可能にします。
私たちの分析は、簡素化されたが代表的な設定で実施されているため、清潔な理論的洞察と基礎となるメカニズムの公正な比較が可能になります。

要約(オリジナル)

Communication between agents often constitutes a major computational bottleneck in distributed learning. One of the most common mitigation strategies is to compress the information exchanged, thereby reducing communication overhead. To counteract the degradation in convergence associated with compressed communication, error feedback schemes — most notably $\mathrm{EF}$ and $\mathrm{EF}^{21}$ — were introduced. In this work, we provide a tight analysis of both of these methods. Specifically, we find the Lyapunov function that yields the best possible convergence rate for each method — with matching lower bounds. This principled approach yields sharp performance guarantees and enables a rigorous, apples-to-apples comparison between $\mathrm{EF}$, $\mathrm{EF}^{21}$, and compressed gradient descent. Our analysis is carried out in a simplified yet representative setting, which allows for clean theoretical insights and fair comparison of the underlying mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google