SimFBO: Towards Simple, Flexible and Communication-efficient Federated Bilevel Learning

要約

Federated Bilevel Optimization (FBO) は、メタ学習、微調整、ハイパーパラメータ調整などにおける入れ子の最適化構造の出現により、最近、機械学習やエッジ コンピューティングにおいて大きな可能性を示しています。ただし、既存の FBO アルゴリズムには複雑な計算が含まれることが多く、複数の計算が必要です。
反復ごとのサブループ。それぞれのサブループには多数の通信ラウンドが含まれます。
この論文では、SimFBO と呼ばれるシンプルで柔軟な FBO フレームワークを提案します。これは、サブループなしで実装が簡単で、通信効率を向上させるための一般化されたサーバー側の集約と更新を含みます。
さらに、異種ローカル計算に対する耐性が強い SimFBO の変形として、システムレベル異種性ロバスト FBO (ShroFBO) を提案します。
SimFBO と ShroFBO は、部分的なクライアントの参加と置換なしのクライアント サンプリングによって線形収束の高速化を実現し、サンプルと通信の複雑さを改善できることを示します。
実験により、既存の FBO アルゴリズムに対する提案された方法の有効性が実証されています。

要約(オリジナル)

Federated bilevel optimization (FBO) has shown great potential recently in machine learning and edge computing due to the emerging nested optimization structure in meta-learning, fine-tuning, hyperparameter tuning, etc. However, existing FBO algorithms often involve complicated computations and require multiple sub-loops per iteration, each of which contains a number of communication rounds. In this paper, we propose a simple and flexible FBO framework named SimFBO, which is easy to implement without sub-loops, and includes a generalized server-side aggregation and update for improving communication efficiency. We further propose System-level heterogeneity robust FBO (ShroFBO) as a variant of SimFBO with stronger resilience to heterogeneous local computation. We show that SimFBO and ShroFBO provably achieve a linear convergence speedup with partial client participation and client sampling without replacement, as well as improved sample and communication complexities. Experiments demonstrate the effectiveness of the proposed methods over existing FBO algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google