Federated Multi-Sequence Stochastic Approximation with Local Hypergradient Estimation

要約

複数連鎖配列による確率的近似（MSA）は、二値最適化（BLO）、多値構成最適化（MCO）、強化学習（特に、行為者批判法）などの豊富な問題群を包含するため、機械学習において幅広い応用が見出された。しかし、MSAのための証明可能で効率的な連合アルゴリズムを設計することは、二重配列近似（DSA）の特別なケースであっても、とらえどころのない問題であった。この目標に向けて、我々はMSAのための最初の連合アルゴリズムであるFedMSAを開発し、その最適に近い通信複雑度を確立した。核となる新機能として、(i)FedMSAはBLOとMCOの超勾配をローカルクライアント更新によって証明可能な推定を可能にし、これは先行理論において顕著なボトルネックであった、(ii)我々の収束保証は問題の異質性レベルに敏感である。また、運動量と分散を削減する技術を取り入れ、最適に近い速度でさらなる高速化を実現する。最後に、我々の理論を支持し、FedMSAの経験的な利点を実証する実験を提供します。例として、FedMSAは、以前の連合BLOスキームと比較して、通信ラウンドの桁外れの節約を可能にしました。

要約(オリジナル)

Stochastic approximation with multiple coupled sequences (MSA) has found broad applications in machine learning as it encompasses a rich class of problems including bilevel optimization (BLO), multi-level compositional optimization (MCO), and reinforcement learning (specifically, actor-critic methods). However, designing provably-efficient federated algorithms for MSA has been an elusive question even for the special case of double sequence approximation (DSA). Towards this goal, we develop FedMSA which is the first federated algorithm for MSA, and establish its near-optimal communication complexity. As core novelties, (i) FedMSA enables the provable estimation of hypergradients in BLO and MCO via local client updates, which has been a notable bottleneck in prior theory, and (ii) our convergence guarantees are sensitive to the heterogeneity-level of the problem. We also incorporate momentum and variance reduction techniques to achieve further acceleration leading to near-optimal rates. Finally, we provide experiments that support our theory and demonstrate the empirical benefits of FedMSA. As an example, FedMSA enables order-of-magnitude savings in communication rounds compared to prior federated BLO schemes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL