FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning

要約

最近のニュートン型連合学習アルゴリズムは、通信ラウンドに関して線形収束を実証しています。
ただし、ヘッセ行列の通信は、二次通信の複雑さのため、多くの場合実行不可能です。
このペーパーでは、高速な収束速度を達成しながらこの問題に取り組むための新しいアプローチを紹介します。
Federated Newton Sketch Methods (FedNS) と名付けられた私たちの提案方法は、正確なヘッセ行列の代わりにスケッチされた平方根ヘッセ行列を伝達することによって集中ニュートン法を近似します。
通信効率を高めるために、ヘッセ行列の有効次元に一致するようにスケッチ サイズを縮小します。
統合ニュートン スケッチ アプローチの統計学習に基づいた収束解析を提供します。
具体的には、私たちのアプローチは、超線形収束率を達成します。
初めてコミュニケーションがラウンドされます。
私たちは理論的な発見と一致するさまざまな実験を通じてアルゴリズムの有効性を検証します。

要約(オリジナル)

Recent Newton-type federated learning algorithms have demonstrated linear convergence with respect to the communication rounds. However, communicating Hessian matrices is often unfeasible due to their quadratic communication complexity. In this paper, we introduce a novel approach to tackle this issue while still achieving fast convergence rates. Our proposed method, named as Federated Newton Sketch methods (FedNS), approximates the centralized Newton’s method by communicating the sketched square-root Hessian instead of the exact Hessian. To enhance communication efficiency, we reduce the sketch size to match the effective dimension of the Hessian matrix. We provide convergence analysis based on statistical learning for the federated Newton sketch approaches. Specifically, our approaches reach super-linear convergence rates w.r.t. the communication rounds for the first time. We validate the effectiveness of our algorithms through various experiments, which coincide with our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google