PraFFL: A Preference-Aware Scheme in Fair Federated Learning

要約

フェデレーテッド ラーニングにおける公平性は重要な懸案事項として浮上しており、敏感な特徴を持つ特別なグループ (男性または女性など) のための公平なモデルを開発することを目指しています。
ただし、モデルのパフォーマンスと公平性の間にはトレードオフの関係があります。つまり、モデルの公平性を向上させると、モデルのパフォーマンスが低下します。
既存のアプローチでは、モデルの公平性とモデルのパフォーマンスに対するクライアントの好みを定量化するハイパーパラメータを導入することで、このようなトレードオフを特徴づけてきました。
それにも関わらず、これらのアプローチは、各クライアントが事前定義されたプリファレンスを 1 つだけ持つシナリオに限定されており、各クライアントが通常複数のプリファレンスを持つ実際のシステムでは機能しません。
主な課題は、モデルが各クライアントの多様な好みにリアルタイムで適応できる方法を設計することです。
この目的を達成するために、リアルタイムで好みに応じたモデルを生成するために、Fair Federated Learning パラダイム (PraFFL と呼ばれる) の好みを意識したスキームを提案します。
PraFFL は、各クライアントの好みに基づいてモデルを適応的に調整し、ニーズを満たすことができます。
PraFFL が各クライアントの任意の好みに合わせた最適なモデルを提供できることを理論的に証明し、その線形収束性を示します。
実験結果は、クライアントのさまざまな好みに適応するモデルの能力の点で、私たちが提案した PraFFL が 5 つの公正な連合学習アルゴリズムよりも優れていることを示しています。

要約(オリジナル)

Fairness in federated learning has emerged as a critical concern, aiming to develop an unbiased model for any special group (e.g., male or female) of sensitive features. However, there is a trade-off between model performance and fairness, i.e., improving model fairness will decrease model performance. Existing approaches have characterized such a trade-off by introducing hyperparameters to quantify client’s preferences for model fairness and model performance. Nevertheless, these approaches are limited to scenarios where each client has only a single pre-defined preference, and fail to work in practical systems where each client generally have multiple preferences. The key challenge is to design a method that allows the model to adapt to diverse preferences of each client in real time. To this end, we propose a Preference-aware scheme in Fair Federated Learning paradigm (called PraFFL) to generate preference-wise model in real time. PraFFL can adaptively adjust the model based on each client’s preferences to meet their needs. We theoretically prove that PraFFL can offer the optimal model tailored to an arbitrary preference of each client, and show its linear convergence. Experimental results show that our proposed PraFFL outperforms five fair federated learning algorithms in terms of the model’s capability of adapting to clients’ different preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google