Understanding Federated Learning from IID to Non-IID dataset: An Experimental Study

要約

プライバシーの懸念とデータ規制が拡大するにつれて、Federated Learning（FL）は、生データを共有せずに分散型データソースで機械学習モデルをトレーニングするための有望なアプローチとして浮上しています。
ただし、FLの重要な課題は、クライアントデータがしばしば非IID（非依存性と同一に分散されている）であり、集中学習と比較してパフォーマンスが低下することです。
この問題に対処するために多くの方法が提案されていますが、それらの根本的なメカニズムはしばしば異なる視点から見られます。
勾配降下からFL、およびIIDから非IIDデータ設定への包括的な調査を通じて、クライアントの損失ランドスケープの矛盾は、主に非IIDシナリオのパフォーマンスの低下を引き起こすことがわかります。
この理解から、既存の方法は2つの主要な戦略にグループ化できることを観察します。（i）パラメーターの更新パスの調整と（ii）クライアントの損失ランドスケープの変更。
これらの調査結果は、FLの非IID課題に対処することに関する明確な視点を提供し、この分野での将来の研究を導くのに役立ちます。

要約(オリジナル)

As privacy concerns and data regulations grow, federated learning (FL) has emerged as a promising approach for training machine learning models across decentralized data sources without sharing raw data. However, a significant challenge in FL is that client data are often non-IID (non-independent and identically distributed), leading to reduced performance compared to centralized learning. While many methods have been proposed to address this issue, their underlying mechanisms are often viewed from different perspectives. Through a comprehensive investigation from gradient descent to FL, and from IID to non-IID data settings, we find that inconsistencies in client loss landscapes primarily cause performance degradation in non-IID scenarios. From this understanding, we observe that existing methods can be grouped into two main strategies: (i) adjusting parameter update paths and (ii) modifying client loss landscapes. These findings offer a clear perspective on addressing non-IID challenges in FL and help guide future research in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google