FedFair^3: Unlocking Threefold Fairness in Federated Learning

要約

Federated Learning (FL) は、クライアントの生データを公開しない機械学習の新たなパラダイムです。
多数のクライアントが存在する実際のシナリオでは、フェデレーテッド ラーニングへの公平かつ効率的なクライアントの参加を促すことが最も重要ですが、データ分散とデバイスの特性が異質であることを考慮すると、これも困難です。
既存の研究では、公平性を考慮したさまざまなクライアント選択方法が提案されています。
ただし、適切な精度レベルを達成しながら、ユーティリティの高いクライアントを選択することはできません。
このペーパーでは、フェデレーテッド ラーニングにおける 3 つの公平性を実現する、公平なクライアント選択アプローチを提案します。
公平なクライアント選択戦略に加えて、当社はクライアントの参加に公平なラウンド数を強制し、クライアント全体に公平な精度の配分を保証します。
実験結果は、最先端のベースラインと比較して、FedFair^3 が全体的な精度を低下させることなく、IID データで 18.15% 小さい精度分散、非 IID データで 54.78% 小さい精度分散を達成することを示しています。
さらに、実測トレーニング時間が平均 24.36% 短縮されたことがわかります。

要約(オリジナル)

Federated Learning (FL) is an emerging paradigm in machine learning without exposing clients’ raw data. In practical scenarios with numerous clients, encouraging fair and efficient client participation in federated learning is of utmost importance, which is also challenging given the heterogeneity in data distribution and device properties. Existing works have proposed different client-selection methods that consider fairness; however, they fail to select clients with high utilities while simultaneously achieving fair accuracy levels. In this paper, we propose a fair client-selection approach that unlocks threefold fairness in federated learning. In addition to having a fair client-selection strategy, we enforce an equitable number of rounds for client participation and ensure a fair accuracy distribution over the clients. The experimental results demonstrate that FedFair^3, in comparison to the state-of-the-art baselines, achieves 18.15% less accuracy variance on the IID data and 54.78% on the non-IID data, without decreasing the global accuracy. Furthermore, it shows 24.36% less wall-clock training time on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google