User-Centric Federated Learning: Trading off Wireless Resources for Personalization

要約

タイトル：ユーザーセントリックフェデレーテッドラーニング：個人化のために無線リソースをトレードオフする

要約：
– フェデレーテッドラーニング（FL）システム内のクライアント間の統計的異質性は、アルゴリズム収束時間を増加させ、汎化性能を低下させ、貧弱なモデルのために大きな通信オーバーヘッドを引き起こす。
– FLが課すプライバシー制約を侵害せずに、個人化されたFL方法は、直接データにアクセスせずに統計的に類似したクライアントを結合する必要があり、プライバシーを保証する転送を実現する必要がある。
– 本研究では、パラメーターサーバー（PS）でユーザーセントリックな集計ルールを設計し、利用可能なグラデーション情報に基づいて、個々のFLクライアントに対して個人化されたモデルを生成できるようにした。
– 提案された集計ルールは、重み付き集約式リスク最小化問題の上限に基づいて設計されている。
– さらに、ユーザークラスタリングに基づく通信効率の高いバリアントを導出し、通信制限のあるシステムでの適用性を大幅に向上させた。
– 本アルゴリズムは、平均精度、最悪ノードパフォーマンス、トレーニング通信オーバーヘッドの点で人気のある個人化FLベースラインを上回ります。

要約(オリジナル)

Statistical heterogeneity across clients in a Federated Learning (FL) system increases the algorithm convergence time and reduces the generalization performance, resulting in a large communication overhead in return for a poor model. To tackle the above problems without violating the privacy constraints that FL imposes, personalized FL methods have to couple statistically similar clients without directly accessing their data in order to guarantee a privacy-preserving transfer. In this work, we design user-centric aggregation rules at the parameter server (PS) that are based on readily available gradient information and are capable of producing personalized models for each FL client. The proposed aggregation rules are inspired by an upper bound of the weighted aggregate empirical risk minimizer. Secondly, we derive a communication-efficient variant based on user clustering which greatly enhances its applicability to communication-constrained systems. Our algorithm outperforms popular personalized FL baselines in terms of average accuracy, worst node performance, and training communication overhead.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI