FAIR-FATE: Fair Federated Learning with Momentum

要約

公平性を考慮した機械学習アルゴリズムが注目されつつある一方で、その焦点は集中型の機械学習に当てられており、分散型の手法は十分に研究されていない。Federated Learningは分散型の機械学習であり、クライアントがローカルモデルを学習し、サーバーがそれらを集約して共有グローバルモデルを得る。クライアント間のデータの不均一性は、Federated Learningの一般的な特徴であり、人種や性別のようなセンシティブな属性によって定義される不利なグループの差別を誘発または悪化させる可能性がある。本研究では、FAIR-FATEを提案する。FAIR-FATEは、クライアントの公平性を考慮してグローバルモデルを計算する公平性を考慮した集計方法により、高い効用を維持しながらグループの公平性を達成することを目的とした、新しいFAIR FederATEd Learningアルゴリズムである。これを達成するために、グローバルモデルの更新は、非公正勾配の振動を克服するのに役立つモーメンタム項を用いて、公正なモデル更新を推定することにより計算される。我々の知る限り、これは公平なMomentum推定を用いて公平性を達成することを目的とした、機械学習における最初のアプローチである。実世界のデータセットを用いた実験の結果、FAIR-FATEは、様々なレベルのデータ異質性の下で、最先端の公平なFederated Learningアルゴリズムを凌駕することが実証された。

要約(オリジナル)

While fairness-aware machine learning algorithms have been receiving increasing attention, the focus has been on centralized machine learning, leaving decentralized methods underexplored. Federated Learning is a decentralized form of machine learning where clients train local models with a server aggregating them to obtain a shared global model. Data heterogeneity amongst clients is a common characteristic of Federated Learning, which may induce or exacerbate discrimination of unprivileged groups defined by sensitive attributes such as race or gender. In this work we propose FAIR-FATE: a novel FAIR FederATEd Learning algorithm that aims to achieve group fairness while maintaining high utility via a fairness-aware aggregation method that computes the global model by taking into account the fairness of the clients. To achieve that, the global model update is computed by estimating a fair model update using a Momentum term that helps to overcome the oscillations of non-fair gradients. To the best of our knowledge, this is the first approach in machine learning that aims to achieve fairness using a fair Momentum estimate. Experimental results on real-world datasets demonstrate that FAIR-FATE outperforms state-of-the-art fair Federated Learning algorithms under different levels of data heterogeneity.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL