Federated Learning Under Restricted User Availability

要約

Federated Learning (FL) は、データ プライバシーを尊重しながら協調的なモデル トレーニングを可能にする分散型機械学習フレームワークです。
さまざまなアプリケーションでは、不利な環境または確率的な環境により、ユーザーの可用性や参加が不均一になることは避けられませんが、後者は学習中に制御できないことがよくあります。
ここでは、おそらくランダム化された定常的な選択ポリシーを実装する一般的なユーザー選択メカニズムを仮定します。これはランダム アクセス モデル (RAM) と呼ばれることが示唆されています。
我々は、RAM の存在下で、頻度の低い、または制限されたユーザーから発生するデータの限られた参加を効果的に捕捉し、軽減する FL 問題の新しい定式化を提案します。
(未知の) RAM 分布に対して条件付きバリューアットリスク (CVaR) を採用することで、予想損失 FL 目標をリスクを認識した目標に拡張し、RAM を完全に意識しない効率的なトレーニング アルゴリズムの設計を可能にします。
本質的には FedAvg と同じ複雑さです。
合成データセットとベンチマーク データセットに関する実験では、提案されたアプローチが、さまざまな設定の下で標準 FL と比較して大幅に向上したパフォーマンスを達成することを示しています。

要約(オリジナル)

Federated Learning (FL) is a decentralized machine learning framework that enables collaborative model training while respecting data privacy. In various applications, non-uniform availability or participation of users is unavoidable due to an adverse or stochastic environment, the latter often being uncontrollable during learning. Here, we posit a generic user selection mechanism implementing a possibly randomized, stationary selection policy, suggestively termed as a Random Access Model (RAM). We propose a new formulation of the FL problem which effectively captures and mitigates limited participation of data originating from infrequent, or restricted users, at the presence of a RAM. By employing the Conditional Value-at-Risk (CVaR) over the (unknown) RAM distribution, we extend the expected loss FL objective to a risk-aware objective, enabling the design of an efficient training algorithm that is completely oblivious to the RAM, and with essentially identical complexity as FedAvg. Our experiments on synthetic and benchmark datasets show that the proposed approach achieves significantly improved performance as compared with standard FL, under a variety of setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google