No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier

要約

データの異質性は、フェデレーション ラーニング (FL) のパフォーマンスを妨げる固有の課題です。
最近の研究では、局所モデルの偏った分類器が主要なボトルネックであることが特定されました。
これまでの試みでは、FL トレーニング後に分類器のキャリブレーションを使用していましたが、このアプローチでは、トレーニング時の分類器のバイアスによって引き起こされる貧弱な特徴表現を改善するには不十分です。
FL における分類器バイアスのジレンマを解決するには、分類器の背後にあるメカニズムを完全に理解する必要があります。
ニューラル崩壊の最近の進歩により、完璧なトレーニング シナリオ下の分類器と特徴プロトタイプは、単体等角タイト フレーム (ETF) と呼ばれる最適な構造に崩壊することが示されています。
この神経崩壊の洞察に基づいて、トレーニング中に合成および固定 ETF 分類器を利用することによる FL の分類器バイアス問題の解決策を提案します。
最適な分類子構造により、すべてのクライアントは、非常に異質なデータの下でも、統一された最適な特徴表現を学習できます。
私たちは、フロリダ州のETF構造をより適切に適応させ、高度な一般化と個別化の両方を達成するためにいくつかの効果的なモジュールを考案しました。
広範な実験により、私たちの方法が CIFAR-10、CIFAR-100、Tiny-ImageNet で最先端のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Data heterogeneity is an inherent challenge that hinders the performance of federated learning (FL). Recent studies have identified the biased classifiers of local models as the key bottleneck. Previous attempts have used classifier calibration after FL training, but this approach falls short in improving the poor feature representations caused by training-time classifier biases. Resolving the classifier bias dilemma in FL requires a full understanding of the mechanisms behind the classifier. Recent advances in neural collapse have shown that the classifiers and feature prototypes under perfect training scenarios collapse into an optimal structure called simplex equiangular tight frame (ETF). Building on this neural collapse insight, we propose a solution to the FL’s classifier bias problem by utilizing a synthetic and fixed ETF classifier during training. The optimal classifier structure enables all clients to learn unified and optimal feature representations even under extremely heterogeneous data. We devise several effective modules to better adapt the ETF structure in FL, achieving both high generalization and personalization. Extensive experiments demonstrate that our method achieves state-of-the-art performances on CIFAR-10, CIFAR-100, and Tiny-ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google