FedGH: Heterogeneous Federated Learning with Generalized Global Header

要約

フェデレーテッド ラーニング (FL) は、複数の関係者がプライバシーを保護しながら共有モデルを共同でトレーニングできるようにする新しい機械学習パラダイムです。
既存の水平 FL 手法は一般に、FL サーバーとクライアントが同じモデル構造を保持していることを前提としています。
しかし、システムの異質性とパーソナライゼーションの必要性により、クライアントが多様な構造のモデルを保持できるようにすることが重要な方向性となっています。
既存のモデル異種 FL アプローチでは、多くの場合、公開されているデータセットが必要であり、高い通信コストや計算コストが発生するため、パフォーマンスが制限されます。
これらの制限に対処するために、シンプルだが効果的なフェデレーテッド グローバル予測ヘッダー (FedGH) アプローチを提案します。
これは、FL サーバーでクライアントのモデルの異種エクストラクターによって抽出された表現を使用して、共有の一般化グローバル予測ヘッダーをトレーニングする、通信と計算効率の高いモデル異種 FL フレームワークです。
トレーニングされた一般化されたグローバル予測ヘッダーは、さまざまなクライアントから学習します。
取得されたグローバル ナレッジはクライアントに転送され、各クライアントのローカル予測ヘッダーと置き換えられます。
FedGH の非凸収束率を導出します。
2 つの現実世界のデータセットに対する広範な実験により、FedGH が 7 つの最先端のパーソナライズされた FL モデルと比較して、モデルの同種の FL シナリオと異種の FL シナリオの両方で大幅に有利なパフォーマンスを達成し、最も優れたパフォーマンスのベースラインを最大 8.87 上回ることが実証されました。
平均テスト精度に関しては % (モデルが同種の FL の場合)、1.83% (モデルが異種の FL の場合) であり、通信オーバーヘッドを最大 85.53% 節約します。

要約(オリジナル)

Federated learning (FL) is an emerging machine learning paradigm that allows multiple parties to train a shared model collaboratively in a privacy-preserving manner. Existing horizontal FL methods generally assume that the FL server and clients hold the same model structure. However, due to system heterogeneity and the need for personalization, enabling clients to hold models with diverse structures has become an important direction. Existing model-heterogeneous FL approaches often require publicly available datasets and incur high communication and/or computational costs, which limit their performances. To address these limitations, we propose a simple but effective Federated Global prediction Header (FedGH) approach. It is a communication and computation-efficient model-heterogeneous FL framework which trains a shared generalized global prediction header with representations extracted by heterogeneous extractors for clients’ models at the FL server. The trained generalized global prediction header learns from different clients. The acquired global knowledge is then transferred to clients to substitute each client’s local prediction header. We derive the non-convex convergence rate of FedGH. Extensive experiments on two real-world datasets demonstrate that FedGH achieves significantly more advantageous performance in both model-homogeneous and -heterogeneous FL scenarios compared to seven state-of-the-art personalized FL models, beating the best-performing baseline by up to 8.87% (for model-homogeneous FL) and 1.83% (for model-heterogeneous FL) in terms of average test accuracy, while saving up to 85.53% of communication overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google