Towards Fairer and More Efficient Federated Learning via Multidimensional Personalized Edge Models

要約

タイトル：多次元個人化エッジモデルによるより公平かつ効率的なフェデレーテッドラーニングへの取り組み

要約：
– フェデレーテッドラーニングは、地理的に分散した大量のエッジデータをトレーニングし、プライバシーを維持する新しい技術である。
– しかし、エッジの異質性に起因する公平性と計算効率の問題を抱えており、最近の最新技術ソリューションでもしばしば最適な性能を発揮しない。
– この論文では、カスタマイズされたフェデレーテッドラーニング（CFL）システムを提案し、複数の次元からFLの異質性を排除する。
– 具体的には、CFLは、オンライントレーニングされたモデル検索ヘルパーと新しい集計アルゴリズムによって共同で特別に設計されたグローバルモデルから各クライアントのための個人化モデルを調整する。
– 広範な実験により、CFLがFLトレーニングとエッジ推論の両方に対するスタック全体の利点を持ち、モデルの精度（非異質環境で最大7.2％、異質環境で最大21.8％）と効率性、FLの公正性を大幅に改善することが示された。

要約(オリジナル)

Federated learning (FL) is an emerging technique that trains massive and geographically distributed edge data while maintaining privacy. However, FL has inherent challenges in terms of fairness and computational efficiency due to the rising heterogeneity of edges, and thus usually results in sub-optimal performance in recent state-of-the-art (SOTA) solutions. In this paper, we propose a Customized Federated Learning (CFL) system to eliminate FL heterogeneity from multiple dimensions. Specifically, CFL tailors personalized models from the specially designed global model for each client jointly guided by an online trained model-search helper and a novel aggregation algorithm. Extensive experiments demonstrate that CFL has full-stack advantages for both FL training and edge reasoning and significantly improves the SOTA performance w.r.t. model accuracy (up to 7.2% in the non-heterogeneous environment and up to 21.8% in the heterogeneous environment), efficiency, and FL fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI