A Randomized Zeroth-Order Hierarchical Framework for Heterogeneous Federated Learning

要約

フェデレートラーニング（FL）の不均一性は、モデルのパフォーマンスと収束に大きな影響を与える重要で挑戦的な側面です。
この論文では、階層的最適化問題として不均一なFLを策定することにより、新しいフレームワークを提案します。
この新しいフレームワークは、バイレベル定式化を通じてローカルおよびグローバルなトレーニングプロセスの両方をキャプチャし、次のことが可能です。（i）パーソナライズされた学習フレームワークを通じてクライアントの不均一性に対処する。
（ii）サーバーの側でトレーニング前のプロセスをキャプチャする。
（iii）非標準凝集を通じてグローバルモデルの更新。
（iv）非同一のローカルステップを許可する。
（v）クライアントのローカル制約のキャプチャ。
サーバーエージェントと個々のクライアントエージェントの両方に対して非症状の収束保証を提供する暗黙のゼロオーダーFLメソッド（ZO-HFL）を設計および分析し、ほとんど確実な意味でサーバーエージェントとクライアントエージェントの両方の漸近保証を提供します。
特に、私たちの方法は、境界勾配の類似性条件など、不均一なFLの標準的な仮定に依存していません。
画像分類タスクにメソッドを実装し、異なる異種設定の下で他のメソッドと比較します。

要約(オリジナル)

Heterogeneity in federated learning (FL) is a critical and challenging aspect that significantly impacts model performance and convergence. In this paper, we propose a novel framework by formulating heterogeneous FL as a hierarchical optimization problem. This new framework captures both local and global training process through a bilevel formulation and is capable of the following: (i) addressing client heterogeneity through a personalized learning framework; (ii) capturing pre-training process on server’s side; (iii) updating global model through nonstandard aggregation; (iv) allowing for nonidentical local steps; and (v) capturing clients’ local constraints. We design and analyze an implicit zeroth-order FL method (ZO-HFL), provided with nonasymptotic convergence guarantees for both the server-agent and the individual client-agents, and asymptotic guarantees for both the server-agent and client-agents in an almost sure sense. Notably, our method does not rely on standard assumptions in heterogeneous FL, such as the bounded gradient dissimilarity condition. We implement our method on image classification tasks and compare with other methods under different heterogeneous settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google