Heterogeneous Federated Learning: State-of-the-art and Research Challenges

要約

フェデレーテッド ラーニング (FL) は、大規模な産業アプリケーションでの使用の可能性があるため、ますます注目を集めています。
既存のフェデレーテッド ラーニングの取り組みは、主にモデルの均一な設定に焦点を当てています。
ただし、実際のフェデレーテッド ラーニングでは、通常、参加者クライアント間のデータ分布、モデル アーキテクチャ、ネットワーク環境、ハードウェア デバイスの異質性に直面します。
異種混合フェデレーテッド ラーニング (HFL) はさらに困難であり、対応するソリューションは多様かつ複雑です。
したがって、このテーマに関する研究課題と最先端技術に関する体系的な調査が不可欠です。
この調査では、まず、HFL におけるさまざまな研究課題を、統計的異質性、モデルの異質性、通信の異質性、デバイスの異質性、追加の課題の 5 つの側面から要約します。
さらに、HFL の最近の進歩がレビューされ、既存の HFL 手法の長所と短所を詳細に分析して新しい分類法が提案されます。
HFL 手順に従って、既存の手法をデータ レベル、モデル レベル、サーバー レベルの 3 つの異なるレベルに分類します。
最後に、この分野のさらなる発展を促進する可能性がある、HFL におけるいくつかの重要かつ有望な将来の研究の方向性について説明します。
HFL で定期的に更新されるコレクションは、https://github.com/marswhu/HFL_Survey で入手できます。

要約(オリジナル)

Federated learning (FL) has drawn increasing attention owing to its potential use in large-scale industrial applications. Existing federated learning works mainly focus on model homogeneous settings. However, practical federated learning typically faces the heterogeneity of data distributions, model architectures, network environments, and hardware devices among participant clients. Heterogeneous Federated Learning (HFL) is much more challenging, and corresponding solutions are diverse and complex. Therefore, a systematic survey on this topic about the research challenges and state-of-the-art is essential. In this survey, we firstly summarize the various research challenges in HFL from five aspects: statistical heterogeneity, model heterogeneity, communication heterogeneity, device heterogeneity, and additional challenges. In addition, recent advances in HFL are reviewed and a new taxonomy of existing HFL methods is proposed with an in-depth analysis of their pros and cons. We classify existing methods from three different levels according to the HFL procedure: data-level, model-level, and server-level. Finally, several critical and promising future research directions in HFL are discussed, which may facilitate further developments in this field. A periodically updated collection on HFL is available at https://github.com/marswhu/HFL_Survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google