Fairness-Aware Job Scheduling for Multi-Job Federated Learning

要約

フェデレーション ラーニング (FL) を使用すると、複数のデータ所有者 (別名 FL クライアント) が、機密のプライベート データを開示することなく、機械学習モデルを共同でトレーニングできるようになります。
既存の FL 研究は主に、単一の FL サーバーがトレーニングの各ラウンドでローカル モデルを更新するために FL クライアントのサブセットを選択する独占シナリオに焦点を当てています。
実際には、複数の FL サーバーが同時に同じプールからクライアントを選択しようとする可能性があります。
このホワイトペーパーでは、このギャップを埋めるために、この種では初めての公平性を意識した Federated Job Scheduling (FairFedJS) アプローチを提案します。
Lyapunov 最適化に基づいて、現在の需要とジョブの支払い入札を共同で考慮することで、需要の高い FL クライアント データセットを、それを必要とする FL ジョブに公平に割り当て、待ち時間の長期化を防ぎます。
2 つのデータセットに対する FairFedJS と 4 つの最先端のアプローチを比較した広範な実験により、その重要な利点が実証されました。
同等のテスト精度を達成しながら、スケジューリングの公平性と収束時間の点で、最良のベースラインを平均してそれぞれ 31.9% と 1.0% 上回っています。

要約(オリジナル)

Federated learning (FL) enables multiple data owners (a.k.a. FL clients) to collaboratively train machine learning models without disclosing sensitive private data. Existing FL research mostly focuses on the monopoly scenario in which a single FL server selects a subset of FL clients to update their local models in each round of training. In practice, there can be multiple FL servers simultaneously trying to select clients from the same pool. In this paper, we propose a first-of-its-kind Fairness-aware Federated Job Scheduling (FairFedJS) approach to bridge this gap. Based on Lyapunov optimization, it ensures fair allocation of high-demand FL client datasets to FL jobs in need of them, by jointly considering the current demand and the job payment bids, in order to prevent prolonged waiting. Extensive experiments comparing FairFedJS against four state-of-the-art approaches on two datasets demonstrate its significant advantages. It outperforms the best baseline by 31.9% and 1.0% on average in terms of scheduling fairness and convergence time, respectively, while achieving comparable test accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google