Fed-CO2: Cooperation of Online and Offline Models for Severe Data Heterogeneity in Federated Learning

要約

Federated Learning (FL) は、複数のクライアントがプライベート データを共有せずにグローバル モデルを共同で学習できるようにする、有望な分散学習パラダイムとして登場しました。
ただし、FL の有効性は、トレーニングに使用されるデータの品質に大きく依存します。
特に、ラベル分布のスキューや特徴のスキューなどのデータの異質性の問題は、FL のパフォーマンスに大きな影響を与える可能性があります。
フロリダ州でのこれまでの研究は主にラベル分布の偏りデータの不均一性に対処することに焦点を当てていましたが、特徴の偏りの問題への取り組みで初期の進歩を遂げた最近の研究はわずか数件のみです。
注目すべきことに、これら 2 つの形式のデータ異質性は別々に研究されており、統一された FL フレームワーク内では十分に調査されていません。
このギャップに対処するために、\textbf{O}nline と \textbf の間の \textbf{C} 操作メカニズム内でラベル分布スキューと特徴スキューの両方を処理するユニバーサル FL フレームワークである Fed-CO$_{2}$ を提案します。
{オフ}オフライン モデル。
具体的には、オンライン モデルはすべてのクライアントに共有される一般的な知識を学習しますが、オフライン モデルはローカルでトレーニングされて各クライアントの専門知識を学習します。
機能変更が存在する場合のモデルの連携をさらに強化するために、オンライン モデルとオフライン モデル間の相互学習を強化するクライアント内の知識伝達メカニズムと、モデルのドメイン汎化能力を高めるクライアント間の知識伝達メカニズムを設計します。
広範な実験により、当社の Fed-CO$_{2}$ は、ラベル分布のスキューと特徴のスキューを個別および集合的に処理する点で、既存のさまざまなパーソナライズされたフェデレーテッド ラーニング アルゴリズムよりも優れていることが示されています。
経験的な結果は、簡略化された設定での収束分析によって裏付けられます。

要約(オリジナル)

Federated Learning (FL) has emerged as a promising distributed learning paradigm that enables multiple clients to learn a global model collaboratively without sharing their private data. However, the effectiveness of FL is highly dependent on the quality of the data that is being used for training. In particular, data heterogeneity issues, such as label distribution skew and feature skew, can significantly impact the performance of FL. Previous studies in FL have primarily focused on addressing label distribution skew data heterogeneity, while only a few recent works have made initial progress in tackling feature skew issues. Notably, these two forms of data heterogeneity have been studied separately and have not been well explored within a unified FL framework. To address this gap, we propose Fed-CO$_{2}$, a universal FL framework that handles both label distribution skew and feature skew within a \textbf{C}ooperation mechanism between the \textbf{O}nline and \textbf{O}ffline models. Specifically, the online model learns general knowledge that is shared among all clients, while the offline model is trained locally to learn the specialized knowledge of each individual client. To further enhance model cooperation in the presence of feature shifts, we design an intra-client knowledge transfer mechanism that reinforces mutual learning between the online and offline models, and an inter-client knowledge transfer mechanism to increase the models’ domain generalization ability. Extensive experiments show that our Fed-CO$_{2}$ outperforms a wide range of existing personalized federated learning algorithms in terms of handling label distribution skew and feature skew, both individually and collectively. The empirical results are supported by our convergence analyses in a simplified setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google