Decentralized Personalized Federated Learning

要約

この研究では、分散型フェデレーテッド ラーニングにおけるデータの異質性と通信制限の課題に取り組みます。
私たちは、ローカル データを効果的に活用するパーソナライズされたモデルをトレーニングするための適切なコラボレーターを各クライアントが選択できるようガイドするコラボレーション グラフの作成に重点を置いています。
私たちのアプローチは、リソース効率を高める斬新で通信効率の高い戦略を通じてこれらの問題に対処します。
従来の方法とは異なり、当社の定式化では、クライアントの組み合わせ関係を考慮して詳細なレベルで協力者を特定し、コミュニケーションのオーバーヘッドを最小限に抑えながらパーソナライゼーションを強化します。
これは、制約付き貪欲アルゴリズムを採用した 2 レベルの最適化フレームワークを通じて実現され、その結果、パーソナライズされた学習のためのリソース効率の高いコラボレーション グラフが実現します。
多様なデータセットにわたるさまざまなベースラインに対する広範な評価により、DPFL と呼ばれる私たちの手法の優位性が実証されています。
DPFL は他のアプローチよりも常に優れており、現実世界のデータ異質性の処理、通信オーバーヘッドの最小化、リソース効率の向上、分散型フェデレーテッド ラーニング シナリオでのパーソナライズされたモデルの構築における有効性を示しています。

要約(オリジナル)

This work tackles the challenges of data heterogeneity and communication limitations in decentralized federated learning. We focus on creating a collaboration graph that guides each client in selecting suitable collaborators for training personalized models that leverage their local data effectively. Our approach addresses these issues through a novel, communication-efficient strategy that enhances resource efficiency. Unlike traditional methods, our formulation identifies collaborators at a granular level by considering combinatorial relations of clients, enhancing personalization while minimizing communication overhead. We achieve this through a bi-level optimization framework that employs a constrained greedy algorithm, resulting in a resource-efficient collaboration graph for personalized learning. Extensive evaluation against various baselines across diverse datasets demonstrates the superiority of our method, named DPFL. DPFL consistently outperforms other approaches, showcasing its effectiveness in handling real-world data heterogeneity, minimizing communication overhead, enhancing resource efficiency, and building personalized models in decentralized federated learning scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google