FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering

要約

Federated Learning (FL) は、クライアント データをエッジ デバイスに保持することでプライバシーを保護する機械学習パラダイムです。
ただし、学習システムの多様性と異質性により、実際に FL を最適化するのは困難な場合があります。
最近の研究は、クライアント間で配布の変更が発生した場合の FL の最適化の改善に焦点を当てていますが、機能配布の変更、ラベル配布の変更、コンセプトの変更など、クライアント間で複数の種類の配布の変更が同時に発生した場合のグローバル パフォーマンスの確保は依然として課題です。
-探検した。
この論文では、多様な分布シフトが同時に発生することによってもたらされる学習上の課題を特定し、これらの課題を克服するためのクラスタリング原理を提案します。
私たちの調査を通じて、既存の方法ではクラスタリング原理に対処できていないことがわかりました。
したがって、我々は、FedRC と呼ばれる新しいクラスタリング アルゴリズム フレームワークを提案します。このフレームワークは、バイレベル最適化問題と新しい目的関数を組み込むことで、提案したクラスタリング原理に準拠しています。
広範な実験により、FedRC が他の SOTA クラスターベースの FL メソッドよりも大幅に優れていることが実証されました。
私たちのコードは公開される予定です。

要約(オリジナル)

Federated Learning (FL) is a machine learning paradigm that safeguards privacy by retaining client data on edge devices. However, optimizing FL in practice can be challenging due to the diverse and heterogeneous nature of the learning system. Though recent research has focused on improving the optimization of FL when distribution shifts occur among clients, ensuring global performance when multiple types of distribution shifts occur simultaneously among clients — such as feature distribution shift, label distribution shift, and concept shift — remain under-explored. In this paper, we identify the learning challenges posed by the simultaneous occurrence of diverse distribution shifts and propose a clustering principle to overcome these challenges. Through our research, we find that existing methods failed to address the clustering principle. Therefore, we propose a novel clustering algorithm framework, dubbed as FedRC, which adheres to our proposed clustering principle by incorporating a bi-level optimization problem and a novel objective function. Extensive experiments demonstrate that FedRC significantly outperforms other SOTA cluster-based FL methods. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google