Learning Heterogeneous Performance-Fairness Trade-offs in Federated Learning

要約

最近の方法は、ハイパーネットを活用して、連邦学習におけるパフォーマンスフェアネスのトレードオフを処理します。
このハイパーネットは、モデルのパフォーマンスと公平性との間のクライアントの好みを、ローカルパレートフロントとして知られるトレードオフ曲線上の優先順位付けモデルからマップします。
ただし、既存の方法は通常、クライアント間でハイパーネットをトレーニングするために均一な好みのサンプリング分布を採用し、ローカルパレートの前線の固有の不均一性を無視します。
一方、一般化の観点からは、グローバルデータセットのローカルパレート戦線とグローバルなパレートの間のギャップを考慮していません。
これらの制限に対処するために、HETPFLにローカルパレートとグローバルの両方のパレートの両方を効果的に学習することを提案します。
HETPFLは、優先サンプリング適応（PSA）と優先順位の高いハイパーネット融合（PHF）で構成されています。
PSAは、各クライアントが不均一なローカルパレートフロントに対応するために、各クライアントの最適な選好サンプリング分布を適応的に決定します。
PHFは、クライアントのハイパーネットの優先認識融合を実行して、グローバルなパレートフロントのパフォーマンスを確保します。
HETPFLは、既存の方法よりも弱い仮定の下で、ラウンド数に関して直線的に収束することを証明します。
4つのデータセットでの広範な実験は、HETPFLが、学習したローカルおよびグローバルなパレートの面の品質に関して7つのベースラインを大幅に上回ることを示しています。

要約(オリジナル)

Recent methods leverage a hypernet to handle the performance-fairness trade-offs in federated learning. This hypernet maps the clients’ preferences between model performance and fairness to preference-specifc models on the trade-off curve, known as local Pareto front. However, existing methods typically adopt a uniform preference sampling distribution to train the hypernet across clients, neglecting the inherent heterogeneity of their local Pareto fronts. Meanwhile, from the perspective of generalization, they do not consider the gap between local and global Pareto fronts on the global dataset. To address these limitations, we propose HetPFL to effectively learn both local and global Pareto fronts. HetPFL comprises Preference Sampling Adaptation (PSA) and Preference-aware Hypernet Fusion (PHF). PSA adaptively determines the optimal preference sampling distribution for each client to accommodate heterogeneous local Pareto fronts. While PHF performs preference-aware fusion of clients’ hypernets to ensure the performance of the global Pareto front. We prove that HetPFL converges linearly with respect to the number of rounds, under weaker assumptions than existing methods. Extensive experiments on four datasets show that HetPFL significantly outperforms seven baselines in terms of the quality of learned local and global Pareto fronts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google