Incentivizing Truthful Collaboration in Heterogeneous Federated Learning

要約

Federated Learning（FL）は、RAWデータの代わりに勾配更新を共有することにより、複数のクライアントが一緒に学習する分散コラボレーション学習方法です。
ただし、FLがクライアントからの操作された更新に対して脆弱であることはよく知られています。
この作業では、データの不均一性がアップデートを操作するためのクライアントのインセンティブに対する影響の影響を研究します。
まず、クライアントがアップデートを変更してより良くすることができる不均一な共同学習シナリオを提示し、これらの操作がモデルのパフォーマンスの低下につながる可能性があることを示します。
このような変更を防ぐために、サーバーモデルを有利に「操縦」するために、クライアントがグラデーションの更新を誤って報告できるゲームを策定します。
FEDSGDプロトコルに基づいて修正された更新の送信を除去することを証明する支払いルールを開発します。
クライアントの支払いとグローバルモデルの収束率の明示的な範囲を導き出します。これにより、不均一性、支払い、収束のトレードオフを研究できます。
最後に、コンピュータービジョンと自然言語処理の3つのタスクに関するFEDSGD、中央値ベースの集約FedSGD、およびFEDAVGプロトコルにおける支払いルールの有効性の実験的評価を提供します。
すべての場合において、私たちのスキームは修正をうまく解かないことがわかります。

要約(オリジナル)

Federated learning (FL) is a distributed collaborative learning method, where multiple clients learn together by sharing gradient updates instead of raw data. However, it is well-known that FL is vulnerable to manipulated updates from clients. In this work we study the impact of data heterogeneity on clients’ incentives to manipulate their updates. First, we present heterogeneous collaborative learning scenarios where a client can modify their updates to be better off, and show that these manipulations can lead to diminishing model performance. To prevent such modifications, we formulate a game in which clients may misreport their gradient updates in order to ‘steer’ the server model to their advantage. We develop a payment rule that provably disincentivizes sending modified updates under the FedSGD protocol. We derive explicit bounds on the clients’ payments and the convergence rate of the global model, which allows us to study the trade-off between heterogeneity, payments and convergence. Finally, we provide an experimental evaluation of the effectiveness of our payment rule in the FedSGD, median-based aggregation FedSGD and FedAvg protocols on three tasks in computer vision and natural language processing. In all cases we find that our scheme successfully disincentivizes modifications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google