Federated Fairness Analytics: Quantifying Fairness in Federated Learning

要約

Federated Learning (FL) は、分散 ML のためのプライバシー強化テクノロジーです。
モデルをローカルでトレーニングし、更新を集約することで、フェデレーションは集中的なデータ収集をバイパスしながら一緒に学習します。
FL はヘルスケア、金融、パーソナル コンピューティングの分野で人気が高まっています。
ただし、従来の ML から公平性の課題を継承し、データ品質、クライアントの参加、通信の制約、集約方法、基盤となるハードウェアの違いから生じる新しい課題を導入しています。
フロリダ州では公平性が依然として未解決の問題であり、コミュニティは公平性を定量化するための簡潔な定義と指標が存在しないことを認識しています。
これに対処するために、私たちは公平性を測定する方法論である Federated Fairness Analytics を提案します。
私たちの公平性の定義は、新しい対応する指標を備えた 4 つの概念で構成されています。
これらは症状に応じて定義されており、XAI、協調ゲーム理論、ネットワーキング エンジニアリングに由来する技術を活用しています。
FL アプローチ、ML タスク、データ設定を変えて、さまざまな実験設定をテストしました。
結果は、統計的異質性とクライアントの参加が公平性に影響を及ぼし、同上や q-FedAvg などの公平性を意識したアプローチが公平性とパフォーマンスのトレードオフをわずかに改善することを示しています。
当社の技術を使用すると、FL の実務者は、FL における公平性の課題に対処するために、さまざまな粒度レベルでシステムの公平性について以前は得られなかった洞察を明らかにすることができます。
私たちの作業は https://github.com/oscardilley/federated-fairness でオープンソース化されています。

要約(オリジナル)

Federated Learning (FL) is a privacy-enhancing technology for distributed ML. By training models locally and aggregating updates – a federation learns together, while bypassing centralised data collection. FL is increasingly popular in healthcare, finance and personal computing. However, it inherits fairness challenges from classical ML and introduces new ones, resulting from differences in data quality, client participation, communication constraints, aggregation methods and underlying hardware. Fairness remains an unresolved issue in FL and the community has identified an absence of succinct definitions and metrics to quantify fairness; to address this, we propose Federated Fairness Analytics – a methodology for measuring fairness. Our definition of fairness comprises four notions with novel, corresponding metrics. They are symptomatically defined and leverage techniques originating from XAI, cooperative game-theory and networking engineering. We tested a range of experimental settings, varying the FL approach, ML task and data settings. The results show that statistical heterogeneity and client participation affect fairness and fairness conscious approaches such as Ditto and q-FedAvg marginally improve fairness-performance trade-offs. Using our techniques, FL practitioners can uncover previously unobtainable insights into their system’s fairness, at differing levels of granularity in order to address fairness challenges in FL. We have open-sourced our work at: https://github.com/oscardilley/federated-fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google