Technical Report: Aggregation on Learnable Manifolds for Asynchronous Federated Optimization

要約

Federated Learning（FL）では、クライアントモデルのサーバー側の集約に対する主な課題は、損失状況のジオメトリと計算能力の両方におけるデバイスの不均一性です。
この問題は、データ分布の変動（クラスの不均衡によって悪化する）、インフラストラクチャの要件、およびサンプルサイズが一般的である臨床コンテキストで特に顕著です。
地元のトレーニング、遅延補正、集約段階のそれぞれで、基礎となるソリューションスペースジオメトリを活用することにより、これらの問題に対処するための新しい非同期FLフレームワークであるAsyncmanifoldを提案します。
私たちの提案には、一般的な形式での収束証明が伴い、局所的な行動の動機付けの徹底的な探索的研究、非線形モード接続に沿って集約を実行するため、線形補間に基づいた技術が遭遇する収束を回避する概念の証明アルゴリズムが伴います。

要約(オリジナル)

In Federated Learning (FL), a primary challenge to the server-side aggregation of client models is device heterogeneity, in both loss landscape geometry and computational capacity. This issue can be particularly pronounced in clinical contexts where variations in data distribution (aggravated by class imbalance), infrastructure requirements, and sample sizes are common. We propose AsyncManifold, a novel asynchronous FL framework to address these issues by taking advantage of underlying solution space geometry, at each of the local training, delay-correction, and aggregation stages. Our proposal is accompanied by a convergence proof in a general form and, motivated thorough exploratory studies of local behaviour, a proof-of-concept algorithm which performs aggregation along non-linear mode connections and hence avoids barriers to convergence that techniques based on linear interpolation will encounter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google