FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data

要約

Federated Long-Tailed Learning (Fed-LT) は、分散されたローカル クライアントから収集されたデータが世界的に普及しているロングテール分布を明らかにするパラダイムで、最近かなりの注目を集めています。
Fed-LT の文脈では、既存の取り組みは主に、ローカル レベルでのパフォーマンスを無視しながら、汎用グローバル モデルの有効性を高めるためにデータの不均衡問題に対処することに重点が置かれてきました。
対照的に、従来のパーソナライズされたフェデレーテッド ラーニング (pFL) 手法は、主に、バランスのとれたグローバル データ分散の前提の下で、パーソナライズされたローカル モデルを最適化するために考案されました。
この論文では、Fed-LT における Federated Local and Generic Model Training (FedLoGe) と呼ばれるアプローチを紹介します。これは、ニューラル崩壊フレームワーク内での表現学習と分類器の位置合わせの統合を通じて、ローカル モデルとジェネリック モデルの両方のパフォーマンスを強化します。
私たちの調査により、包括的な世界的傾向を捉えるための基礎的なフレームワークとして共有バックボーンを採用すると同時に、各クライアントのローカルな特徴から生じる明確な改良点をカプセル化するために個別化された分類器を採用することが実現可能であることが明らかになりました。
この発見に基づいて、私たちは、無関係なノイズの多い特徴を自然に取り除き、強力なデータ表現の取得を促進する神経崩壊原理に触発された静的疎等角タイトフレーム分類器 (SSE-C) を確立します。
さらに、不均衡ニューラル崩壊の分類器ノルムパターンからの洞察を活用して、補助グローバル分類器とパーソナライズされたユークリッドノルム転送を介してグローバルおよびローカル適応特徴再調整（GLA-FR）を開発し、グローバル特徴をクライアントの好みに合わせます。
CIFAR-10/100-LT、ImageNet、および iNaturalist に関する広範な実験結果は、最先端の pFL および Fed-LT アプローチに対する私たちの方法の利点を示しています。

要約(オリジナル)

Federated Long-Tailed Learning (Fed-LT), a paradigm wherein data collected from decentralized local clients manifests a globally prevalent long-tailed distribution, has garnered considerable attention in recent times. In the context of Fed-LT, existing works have predominantly centered on addressing the data imbalance issue to enhance the efficacy of the generic global model while neglecting the performance at the local level. In contrast, conventional Personalized Federated Learning (pFL) techniques are primarily devised to optimize personalized local models under the presumption of a balanced global data distribution. This paper introduces an approach termed Federated Local and Generic Model Training in Fed-LT (FedLoGe), which enhances both local and generic model performance through the integration of representation learning and classifier alignment within a neural collapse framework. Our investigation reveals the feasibility of employing a shared backbone as a foundational framework for capturing overarching global trends, while concurrently employing individualized classifiers to encapsulate distinct refinements stemming from each client’s local features. Building upon this discovery, we establish the Static Sparse Equiangular Tight Frame Classifier (SSE-C), inspired by neural collapse principles that naturally prune extraneous noisy features and foster the acquisition of potent data representations. Furthermore, leveraging insights from imbalance neural collapse’s classifier norm patterns, we develop Global and Local Adaptive Feature Realignment (GLA-FR) via an auxiliary global classifier and personalized Euclidean norm transfer to align global features with client preferences. Extensive experimental results on CIFAR-10/100-LT, ImageNet, and iNaturalist demonstrate the advantage of our method over state-of-the-art pFL and Fed-LT approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google