Incentive Mechanism Design for Unbiased Federated Learning with Randomized Client Participation

要約

【タイトル】ランダムなクライアント参加による偏見のないフェデレーテッドラーニングのインセンティブメカニズム設計

【要約】

– インセンティブメカニズムは、合理的なクライアントがサーバーと同じ利益を持っていない場合に、フェデレーテッドラーニング（FL）にとって重要である。
– システムの異質性と予算の制限のため、サーバーがすべてのクライアントに参加を促すことは一般的に不可能である。
– 既存のFLインセンティブメカニズムは、データ量やシステムリソースに基づいて固定のクライアントのサブセットを刺激することによって設計されている。したがって、データの異質性により偏ったモデルが生じる。
– この論文では、サーバーがカスタマイズされた価格戦略を採用し、異なる参加度合い（確率）で異なるクライアントを参加させることにより、偏見のない高性能モデルを得るためにランダムなクライアント参加によるFLのゲーム理論的インセンティブメカニズムを提案している。
– 各クライアントは、サーバーの金銭的インセンティブに応答し、ローカルコストだけでなくグローバルモデルの固有の価値にも基づいて利益を最大化するために、最適な参加度合いを選択する。
– クライアントの貢献度を効果的に評価するために、クライアントの任意の参加度合いとその異なるデータがモデルのパフォーマンスにどのように影響するかを解析的に予測する新しい収束バウンドを導出している。
– 非凸最適化問題を解決することにより、固有の価値がサーバーとクライアントの間で双方向の支払いの可能性を生じさせることが明らかになった。
– ハードウェアプロトタイプでの実験結果は、サーバーの高いモデルパフォーマンスとクライアントの高い利益を達成するために、我々のメカニズムの優位性を示している。

要約(オリジナル)

Incentive mechanism is crucial for federated learning (FL) when rational clients do not have the same interests in the global model as the server. However, due to system heterogeneity and limited budget, it is generally impractical for the server to incentivize all clients to participate in all training rounds (known as full participation). The existing FL incentive mechanisms are typically designed by stimulating a fixed subset of clients based on their data quantity or system resources. Hence, FL is performed only using this subset of clients throughout the entire training process, leading to a biased model because of data heterogeneity. This paper proposes a game theoretic incentive mechanism for FL with randomized client participation, where the server adopts a customized pricing strategy that motivates different clients to join with different participation levels (probabilities) for obtaining an unbiased and high performance model. Each client responds to the server’s monetary incentive by choosing its best participation level, to maximize its profit based on not only the incurred local cost but also its intrinsic value for the global model. To effectively evaluate clients’ contribution to the model performance, we derive a new convergence bound which analytically predicts how clients’ arbitrary participation levels and their heterogeneous data affect the model performance. By solving a non-convex optimization problem, our analysis reveals that the intrinsic value leads to the interesting possibility of bidirectional payment between the server and clients. Experimental results using real datasets on a hardware prototype demonstrate the superiority of our mechanism in achieving higher model performance for the server as well as higher profits for the clients.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI