FLeNS: Federated Learning with Enhanced Nesterov-Newton Sketch

要約

フェデレーテッド ラーニングは、特に 2 次メソッドの場合、通信効率と迅速な収束のバランスをとるという重要な課題に直面しています。
ニュートン タイプのアルゴリズムは通信ラウンドで線形収束を達成しますが、完全なヘッセ行列の送信は二次関数の複雑さのため非現実的であることがよくあります。
ネステロフ手法の高速化機能とヘッセスケッチの次元削減の利点の両方を活用する新しい手法である、拡張ネステロフ ニュートン スケッチによるフェデレーテッド ラーニング (FLeNS) を紹介します。
FLeNS は、正確なヘッセ行列に依存せずに集中型ニュートン法を近似し、通信オーバーヘッドを大幅に削減します。
Nesterov の加速と適応ヘッシアン スケッチを組み合わせることで、FLeNS は急速な収束特性を維持しながら重要な 2 次情報を保存します。
統計学習に基づいた私たちの理論分析は、FLeNS が通信ラウンドで超線形収束率を達成することを実証しています。これはフェデレーテッド最適化における注目すべき進歩です。
当社は厳密な収束保証を提供し、加速、スケッチ サイズ、収束速度の間のトレードオフを特徴付けます。
広範な実証的評価により理論的発見が検証され、特にプライバシーに配慮したエッジ コンピューティングのシナリオにおいて、通信要件が軽減された FLeNS の最先端のパフォーマンスが実証されました。
コードは https://github.com/sunnyinAI/FLeNS で入手できます。

要約(オリジナル)

Federated learning faces a critical challenge in balancing communication efficiency with rapid convergence, especially for second-order methods. While Newton-type algorithms achieve linear convergence in communication rounds, transmitting full Hessian matrices is often impractical due to quadratic complexity. We introduce Federated Learning with Enhanced Nesterov-Newton Sketch (FLeNS), a novel method that harnesses both the acceleration capabilities of Nesterov’s method and the dimensionality reduction benefits of Hessian sketching. FLeNS approximates the centralized Newton’s method without relying on the exact Hessian, significantly reducing communication overhead. By combining Nesterov’s acceleration with adaptive Hessian sketching, FLeNS preserves crucial second-order information while preserving the rapid convergence characteristics. Our theoretical analysis, grounded in statistical learning, demonstrates that FLeNS achieves super-linear convergence rates in communication rounds – a notable advancement in federated optimization. We provide rigorous convergence guarantees and characterize tradeoffs between acceleration, sketch size, and convergence speed. Extensive empirical evaluation validates our theoretical findings, showcasing FLeNS’s state-of-the-art performance with reduced communication requirements, particularly in privacy-sensitive and edge-computing scenarios. The code is available at https://github.com/sunnyinAI/FLeNS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google