FedORGP: Guiding Heterogeneous Federated Learning with Orthogonality Regularization on Global Prototypes

要約

Federated Learning（FL）は、特にプライバシーを提供するデータ処理の可能性があるため、分散型機械学習のための重要なフレームワークとして浮上しています。
ただし、既存のFLフレームワークは、モデルのパフォーマンスに深刻な影響を与える統計的およびモデルの不均一性に対処するのに苦労しています。
不均一なフェデレーションラーニング（HTFL）は、課題に対処するためのプロトタイプベースの戦略を導入しますが、現在のアプローチはプロトタイプの最適な分離を達成するための直面の制限です。
このホワイトペーパーでは、直交性の正規化を通じてグローバルなプロトタイプ分離を改善するように設計された新しいHTFLアルゴリズムであるFedorgpを紹介します。
グローバルプロトタイプのガイダンスにより、各クライアントは、特徴空間の対応するプロトタイプと埋め込みを整え、交差エントロピー（CE）の損失とシームレスに統合する方向性の独立性を促進します。
非凸条件下でのFedORGPの収束の理論的証明を提供します。
広範な実験は、FedorGPが7つの最先端のベースラインを上回り、統計的およびモデルの不均一性が共存するシナリオで最大10.12 \％の精度の向上を達成することを示しています。

要約(オリジナル)

Federated Learning (FL) has emerged as an essential framework for distributed machine learning, especially with its potential for privacy-preserving data processing. However, existing FL frameworks struggle to address statistical and model heterogeneity, which severely impacts model performance. While Heterogeneous Federated Learning (HtFL) introduces prototype-based strategies to address the challenges, current approaches face limitations in achieving optimal separation of prototypes. This paper presents FedORGP, a novel HtFL algorithm designed to improve global prototype separation through orthogonality regularization, which not only encourages intra-class prototype similarity but also significantly expands the inter-class angular separation. With the guidance of the global prototype, each client keeps its embeddings aligned with the corresponding prototype in the feature space, promoting directional independence that integrates seamlessly with the cross-entropy (CE) loss. We provide theoretical proof of FedORGP’s convergence under non-convex conditions. Extensive experiments demonstrate that FedORGP outperforms seven state-of-the-art baselines, achieving up to 10.12\% accuracy improvement in scenarios where statistical and model heterogeneity coexist.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google