On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness

要約

統計的異質性は、フェデレーテッド ラーニング (FL) の精度、公平性、堅牢性の間で緊張を引き起こす根本的な原因であり、前進する道を切り開く鍵となります。
パーソナライズド FL (PFL) は、個々のユーザー向けにパーソナライズされたモデルを開発することで統計的不均一性の影響を軽減することを目的としたアプローチであり、同時に公平性と堅牢性の点で本質的に利点を提供します。
ただし、既存の PFL フレームワークは、グローバル モデルを無視して、パーソナライズされたモデルのパフォーマンスを向上させることに重点を置いています。
さらに、これらのフレームワークは線形未満の収束率を達成し、強力な仮定に依存しています。
この論文では、パーソナライズされたグローバル モデルをトレーニングするために、乗算器の交互方向法 (ADMM) を利用した最適化フレームワークである FLAME を提案します。
クライアントがさまざまな種類の異種データを持っている状況でパフォーマンスを向上させるためのモデル選択戦略を提案します。
私たちの理論分析は、穏やかな仮定の下で、FLAME のグローバル収束と 2 種類の収束率を確立します。
私たちは、あるクラスの線形問題に関して、FLAME が最先端の手法よりも堅牢で公平であることを理論的に実証します。
私たちの実験結果は、FLAME が収束性と精度において最先端の手法を上回っており、さまざまな攻撃下でより高いテスト精度を実現し、クライアント間でより均一に実行できることを示しています。

要約(オリジナル)

Statistical heterogeneity is a root cause of tension among accuracy, fairness, and robustness of federated learning (FL), and is key in paving a path forward. Personalized FL (PFL) is an approach that aims to reduce the impact of statistical heterogeneity by developing personalized models for individual users, while also inherently providing benefits in terms of fairness and robustness. However, existing PFL frameworks focus on improving the performance of personalized models while neglecting the global model. Moreover, these frameworks achieve sublinear convergence rates and rely on strong assumptions. In this paper, we propose FLAME, an optimization framework by utilizing the alternating direction method of multipliers (ADMM) to train personalized and global models. We propose a model selection strategy to improve performance in situations where clients have different types of heterogeneous data. Our theoretical analysis establishes the global convergence and two kinds of convergence rates for FLAME under mild assumptions. We theoretically demonstrate that FLAME is more robust and fair than the state-of-the-art methods on a class of linear problems. Our experimental findings show that FLAME outperforms state-of-the-art methods in convergence and accuracy, and it achieves higher test accuracy under various attacks and performs more uniformly across clients.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google