FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning

要約

Federated Learning (FL) は、異種の非 IID データ分散を使用するクライアント全体で効果的なグローバル モデル (グローバル FL) またはパーソナライズされたモデル (パーソナライズされた FL) を開発するための極めて重要なフレームワークとして登場しました。
FL における主な課題はクライアント ドリフトであり、データの異質性が散在する知識の集約を妨げます。
最近の研究では、最後の分類子層での重大な相違を特定することで、クライアント ドリフトの問題に取り組んできました。
この乖離を軽減するには、分類器の重みを固定し、それに応じて特徴抽出器を調整するなどの戦略が効果的であることが証明されています。
分類器と特徴抽出器の間の局所的な調整は FL の重要な要素として研究されてきましたが、それによってモデルが各クライアント内で観察されたクラスを過度に強調する可能性があることが観察されています。
したがって、私たちの目的は 2 つあります: (1) ローカル アライメントを強化しながら、(2) 目に見えないクラス サンプルの表現を維持します。
このアプローチは、個々のクライアントからの知識を効果的に統合し、グローバル FL とパーソナライズされた FL の両方のパフォーマンスを向上させることを目的としています。
これを達成するために、FedDr+ という名前の新しいアルゴリズムを導入します。これは、ドット回帰損失を使用してローカル モデルの位置合わせを可能にします。
FedDr+ は、分類器をシンプレックス ETF として凍結して特徴を調整し、特徴蒸留メカニズムを採用して未確認/欠落クラスに関する情報を保持することで、集約されたグローバル モデルを改善します。
その結果、私たちは、私たちのアルゴリズムが、凍結分類器を使用して多様な分布全体の整合性を高める既存の方法を上回ることを実証する経験的証拠を提供します。

要約(オリジナル)

Federated Learning (FL) has emerged as a pivotal framework for the development of effective global models (global FL) or personalized models (personalized FL) across clients with heterogeneous, non-iid data distribution. A key challenge in FL is client drift, where data heterogeneity impedes the aggregation of scattered knowledge. Recent studies have tackled the client drift issue by identifying significant divergence in the last classifier layer. To mitigate this divergence, strategies such as freezing the classifier weights and aligning the feature extractor accordingly have proven effective. Although the local alignment between classifier and feature extractor has been studied as a crucial factor in FL, we observe that it may lead the model to overemphasize the observed classes within each client. Thus, our objectives are twofold: (1) enhancing local alignment while (2) preserving the representation of unseen class samples. This approach aims to effectively integrate knowledge from individual clients, thereby improving performance for both global and personalized FL. To achieve this, we introduce a novel algorithm named FedDr+, which empowers local model alignment using dot-regression loss. FedDr+ freezes the classifier as a simplex ETF to align the features and improves aggregated global models by employing a feature distillation mechanism to retain information about unseen/missing classes. Consequently, we provide empirical evidence demonstrating that our algorithm surpasses existing methods that use a frozen classifier to boost alignment across the diverse distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google