FOCUS: Fairness via Agent-Awareness for Federated Learning on Heterogeneous Data

要約

フェデレーテッド ラーニング (FL) を使用すると、エージェントはローカル データを共有することなく、グローバル モデルを共同でトレーニングできます。
ただし、ローカル データの異種性により、エージェントのトレーニング済みグローバル モデルの公平性を最適化したり、定義したりすることは困難です。
たとえば、既存の研究では通常、精度の公平性を FL のさまざまなエージェントの公平性と見なしていますが、これは特に異種の環境では制限されています。高品質のデータを持つエージェントに貢献者と同様の精度を達成するよう強制することは直感的に「不公平」であるためです。
エージェントが FL に参加するのを思いとどまらせる可能性がある低品質のデータ。
この作業では、異種エージェントのさまざまな貢献を考慮した、正式な FL 公平性の定義であるエージェント認識 (FAA) による公平性を提案します。
FAA の下では、低品質のデータを持つエージェントが大量に存在するという理由だけで、高品質のデータを持つエージェントのパフォーマンスが犠牲になることはありません。
さらに、エージェント クラスタリング (FOCUS) に基づく公正な FL トレーニング アルゴリズムを提案し、FAA によって測定された FL の公平性を実現します。
理論的には、有限の滑らかさを持つ線形および一般的な凸損失関数の穏やかな条件下での FOCUS の収束と最適性を証明します。
また、線形および一般的な凸損失関数の両方の下で、標準の FedAvg と比較して、FAA に関して FOCUS が常により高い公平性を達成することも証明します。
経験的に、合成データ、画像、テキストを含む 4 つの FL データセットで、FOCUS は FedAvg や最先端の​​公平な FL アルゴリズムと比較して競争力のある予測精度を維持しながら、FAA に関して大幅に高い公平性を達成することを示しています。

要約(オリジナル)

Federated learning (FL) allows agents to jointly train a global model without sharing their local data. However, due to the heterogeneous nature of local data, it is challenging to optimize or even define fairness of the trained global model for the agents. For instance, existing work usually considers accuracy equity as fairness for different agents in FL, which is limited, especially under the heterogeneous setting, since it is intuitively ‘unfair’ to enforce agents with high-quality data to achieve similar accuracy to those who contribute low-quality data, which may discourage the agents from participating in FL. In this work, we propose a formal FL fairness definition, fairness via agent-awareness (FAA), which takes different contributions of heterogeneous agents into account. Under FAA, the performance of agents with high-quality data will not be sacrificed just due to the existence of large amounts of agents with low-quality data. In addition, we propose a fair FL training algorithm based on agent clustering (FOCUS) to achieve fairness in FL measured by FAA. Theoretically, we prove the convergence and optimality of FOCUS under mild conditions for linear and general convex loss functions with bounded smoothness. We also prove that FOCUS always achieves higher fairness in terms of FAA compared with standard FedAvg under both linear and general convex loss functions. Empirically, we show that on four FL datasets, including synthetic data, images, and texts, FOCUS achieves significantly higher fairness in terms of FAA while maintaining competitive prediction accuracy compared with FedAvg and state-of-the-art fair FL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google