Towards Optimal Heterogeneous Client Sampling in Multi-Model Federated Learning

要約

Federated Learning（FL）により、Edge Devicesはローカルデータを共有せずにモデルを協力して訓練できます。
FLが人気を得るにつれて、クライアントは複数の無関係なFLモデルをトレーニングする必要がある場合がありますが、コミュニケーションの制約により、すべてのモデルを同時にトレーニングする能力が制限されます。
クライアントはFLモデルを順番にトレーニングできますが、日和見的にFLクライアントが異なるモデル（MMFL）と呼ばれるさまざまなモデルを同時にトレーニングすることができますが、全体的なトレーニング時間を短縮できます。
以前の作業では、トレーニングの過程で各モデルへの各クライアントの貢献を最適化しないシンプルなクライアントからモデルへの割り当てを使用しています。
シングルモデルFLでの以前の作業は、インテリジェントなクライアントの選択が収束を大幅に加速できることを示していますが、MMFLへのna \ ‘ive拡張は、サーバーとクライアントの両方で不均一なリソースの制約に違反する可能性があります。
この作業では、任意のクライアントサンプリング方法を使用したMMFLの新しい収束分析を開発し、以前の定評のあるグラデーションベースの方法の強みと制限を理論的に実証します。
この分析に動機付けられて、MMFL-LVRを提案します。MMFL-LVRは、サーバーの通信制限を明示的に尊重し、クライアントの計算コストを削減しながら、トレーニングの差異を最小限に抑える損失ベースのサンプリング方法です。
これをMMFL-Stalevrに拡張します。これには、効率と安定性が向上するための古い更新と、低オーバーヘッドの展開に適した軽量バリアントであるMMFL-Stalevreが組み込まれています。
実験では、ランダムサンプリングよりも平均精度が最大19.1％向上し、理論的最適（フルクライアント参加）からのギャップは5.4％しかないことが示されています。

要約(オリジナル)

Federated learning (FL) allows edge devices to collaboratively train models without sharing local data. As FL gains popularity, clients may need to train multiple unrelated FL models, but communication constraints limit their ability to train all models simultaneously. While clients could train FL models sequentially, opportunistically having FL clients concurrently train different models — termed multi-model federated learning (MMFL) — can reduce the overall training time. Prior work uses simple client-to-model assignments that do not optimize the contribution of each client to each model over the course of its training. Prior work on single-model FL shows that intelligent client selection can greatly accelerate convergence, but na\’ive extensions to MMFL can violate heterogeneous resource constraints at both the server and the clients. In this work, we develop a novel convergence analysis of MMFL with arbitrary client sampling methods, theoretically demonstrating the strengths and limitations of previous well-established gradient-based methods. Motivated by this analysis, we propose MMFL-LVR, a loss-based sampling method that minimizes training variance while explicitly respecting communication limits at the server and reducing computational costs at the clients. We extend this to MMFL-StaleVR, which incorporates stale updates for improved efficiency and stability, and MMFL-StaleVRE, a lightweight variant suitable for low-overhead deployment. Experiments show our methods improve average accuracy by up to 19.1% over random sampling, with only a 5.4% gap from the theoretical optimum (full client participation).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google