Multiplayer Federated Learning: Reaching Equilibrium with Less Communication

要約

従来のフェデレーテッド ラーニング (FL) アプローチは、共通のグローバル モデルに向けて、調整された目標を持った協力的なクライアントを前提としています。
しかし、現実世界の多くのシナリオでは、クライアントは個別の目的と戦略的行動を持つ合理的なプレイヤーとして行動しますが、既存の FL フレームワークでは適切に対処する能力が備わっていない概念です。
このギャップを埋めるために、マルチプレイヤーフェデレーテッドラーニング (MpFL) を導入します。これは、FL 環境のクライアントをゲーム理論のコンテキストでプレイヤーとしてモデル化し、均衡に達することを目的とした新しいフレームワークです。
このシナリオでは、各プレイヤーは自分の効用関数を最適化しようとしますが、それが全体の目標と一致しない可能性があります。
MpFL 内では、各プレーヤー/クライアントが独立してローカル更新を実行し、他のプレーヤーと定期的に通信するアルゴリズムであるプレーヤーごとのローカル確率的勾配降下 (PEARL-SGD) を提案します。
我々は PEARL-SGD を理論的に分析し、非局所的な対応物と比較して確率的セットアップでの通信が少なく平衡近傍に到達することを証明します。
最後に、数値実験を通じて理論的発見を検証します。

要約(オリジナル)

Traditional Federated Learning (FL) approaches assume collaborative clients with aligned objectives working towards a shared global model. However, in many real-world scenarios, clients act as rational players with individual objectives and strategic behaviors, a concept that existing FL frameworks are not equipped to adequately address. To bridge this gap, we introduce Multiplayer Federated Learning (MpFL), a novel framework that models the clients in the FL environment as players in a game-theoretic context, aiming to reach an equilibrium. In this scenario, each player tries to optimize their own utility function, which may not align with the collective goal. Within MpFL, we propose Per-Player Local Stochastic Gradient Descent (PEARL-SGD), an algorithm in which each player/client performs local updates independently and periodically communicates with other players. We theoretically analyze PEARL-SGD and prove that it reaches a neighborhood of equilibrium with less communication in the stochastic setup compared to its non-local counterpart. Finally, we verify our theoretical findings through numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google