No Fear of Classifier Biases: Neural Collapse Inspired Federated Learning with Synthetic and Fixed Classifier

要約

データの不均一性は、連合学習 (FL) のパフォーマンスを妨げる固有の課題です。
最近の研究では、局所モデルの偏った分類器が主要なボトルネックであることが特定されています。
以前の試みでは、FL トレーニング後に分類子のキャリブレーションを使用していましたが、このアプローチでは、トレーニング時の分類子のバイアスによって引き起こされる貧弱な特徴表現を改善することはできませんでした。
FL における分類子バイアスのジレンマを解決するには、分類子の背後にあるメカニズムを完全に理解する必要があります。
ニューラル コラプスの最近の進歩は、完全なトレーニング シナリオの下での分類子と機能プロトタイプがシンプレックス等角タイト フレーム (ETF) と呼ばれる最適な構造に崩壊することを示しています。
このニューラル崩壊の洞察に基づいて、トレーニング中に合成および固定 ETF 分類子を利用することにより、FL の分類子バイアス問題の解決策を提案します。
最適な分類子構造により、すべてのクライアントは、非常に異種のデータの下でも、統一された最適な特徴表現を学習できます。
FL の ETF 構造をより適切に適応させるために、いくつかの効果的なモジュールを考案し、高度な一般化と個別化の両方を実現します。
広範な実験により、私たちの方法が CIFAR-10、CIFAR-100、および Tiny-ImageNet で最先端のパフォーマンスを達成することが実証されています。

要約(オリジナル)

Data heterogeneity is an inherent challenge that hinders the performance of federated learning (FL). Recent studies have identified the biased classifiers of local models as the key bottleneck. Previous attempts have used classifier calibration after FL training, but this approach falls short in improving the poor feature representations caused by training-time classifier biases. Resolving the classifier bias dilemma in FL requires a full understanding of the mechanisms behind the classifier. Recent advances in neural collapse have shown that the classifiers and feature prototypes under perfect training scenarios collapse into an optimal structure called simplex equiangular tight frame (ETF). Building on this neural collapse insight, we propose a solution to the FL’s classifier bias problem by utilizing a synthetic and fixed ETF classifier during training. The optimal classifier structure enables all clients to learn unified and optimal feature representations even under extremely heterogeneous data. We devise several effective modules to better adapt the ETF structure in FL, achieving both high generalization and personalization. Extensive experiments demonstrate that our method achieves state-of-the-art performances on CIFAR-10, CIFAR-100, and Tiny-ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google