Achieving Distributive Justice in Federated Learning via Uncertainty Quantification

要約

連合学習のクライアントレベルの公平性メトリックは、連邦のすべてのクライアントを保証するために使用されます。a）ローカルデータ分布（すなわち、クライアントパリティ）またはbで同様の最終パフォーマンスを持っているか、b）連合学習プロセス（すなわち、貢献の公平性）への貢献と比較して、ローカルデータ分布の最終パフォーマンスを取得することを保証します。
クライアントパリティまたは貢献に基づく公平性メトリックのいずれかを提案する少数の作品は、分配的正義などの社会的理論における定義と決定を根拠とする一方で、ほとんどの作品は、公平性メトリックが公平性の倫理に最もよく合うかを選択することを選択することを困難にする公平性の概念をarbitrarily意的に選択します。
この作業では、UDJ-FL（Federated Learningの不確実性ベースの分配的正義）を提案します。これは、複数の分配的正義に基づくクライアントレベルの公平性メトリックを達成できる柔軟なフェデレーション学習フレームワークです。
すなわち、Aleatoricの不確実性に基づくクライアントの計量を実行することに関連して、公正なリソースの割り当てに触発されたテクニックを利用することにより、UDJ-FLフレームワークは平等主義、功利主義、Rawlsの違いの原則、または砂漠ベースのクライアントレベルの公平性を達成することができます。
UDJ-FLの4つの定義された分配的正義に基づくクライアントレベルの公平性メトリックすべてを達成する能力を経験的に示しています。これに加えて、他の人気のある公正な連合学習作業に相当する（または上回る）公平性を提供します。
さらに、UDJ-FLフレームワークの構築には、UDJ-FLの一般化境界の理論的保証を導き出すために、アレアトリックの不確実性の計量が必要である理由を正当化します。
私たちのコードは、https://github.com/alycia-noel/udj-flで公開されています。

要約(オリジナル)

Client-level fairness metrics for federated learning are used to ensure that all clients in a federation either: a) have similar final performance on their local data distributions (i.e., client parity), or b) obtain final performance on their local data distributions relative to their contribution to the federated learning process (i.e., contribution fairness). While a handful of works that propose either client-parity or contribution-based fairness metrics ground their definitions and decisions in social theories of equality — such as distributive justice — most works arbitrarily choose what notion of fairness to align with which makes it difficult for practitioners to choose which fairness metric aligns best with their fairness ethics. In this work, we propose UDJ-FL (Uncertainty-based Distributive Justice for Federated Learning), a flexible federated learning framework that can achieve multiple distributive justice-based client-level fairness metrics. Namely, by utilizing techniques inspired by fair resource allocation, in conjunction with performing aleatoric uncertainty-based client weighing, our UDJ-FL framework is able to achieve egalitarian, utilitarian, Rawls’ difference principle, or desert-based client-level fairness. We empirically show the ability of UDJ-FL to achieve all four defined distributive justice-based client-level fairness metrics in addition to providing fairness equivalent to (or surpassing) other popular fair federated learning works. Further, we provide justification for why aleatoric uncertainty weighing is necessary to the construction of our UDJ-FL framework as well as derive theoretical guarantees for the generalization bounds of UDJ-FL. Our code is publicly available at https://github.com/alycia-noel/UDJ-FL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google