FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients

要約

フェデレーテッド ラーニング (FL) は、データをローカライズした状態に保ちながら、デバイス間で共有されるグローバル モデルの共同トレーニングを容易にする分散学習パラダイムです。
多くの実世界のアプリケーションへの FL の展開は、主に教師ありタスクへの依存が蔓延していることが原因で遅延に直面しています。
リソースの制約と継続的なデータ更新が不可欠であることを考慮すると、エッジ デバイスで詳細なラベルを生成することは、可能であれば非常に困難です。
これらの課題に対処するには、ラベルのないクライアントのデータとサーバー上の限られた量のラベル付きデータに依存するフェデレーション半教師あり学習 (FSSL) などのソリューションが極めて重要になります。
この論文では、サーバー上のラベル付きアンカー データのみでトレーニングされた分類ヘッドと組み合わせた、アンカー ヘッドと呼ばれる独自のダブルヘッド構造を導入する革新的な FSSL メソッドである FedAnchor を提案します。
アンカー ヘッドには、コサイン類似度メトリックに基づいて新しく設計されたラベル コントラスト損失が追加されています。
私たちのアプローチは、信頼性の高いモデル予測サンプルに基づく疑似ラベル付け手法に関連する確証バイアスと過剰適合の問題を軽減します。
CIFAR10/100 および SVHN データセットに対する広範な実験により、私たちの手法が収束率とモデル精度の点で最先端の手法を大幅に上回ることが実証されました。

要約(オリジナル)

Federated learning (FL) is a distributed learning paradigm that facilitates collaborative training of a shared global model across devices while keeping data localized. The deployment of FL in numerous real-world applications faces delays, primarily due to the prevalent reliance on supervised tasks. Generating detailed labels at edge devices, if feasible, is demanding, given resource constraints and the imperative for continuous data updates. In addressing these challenges, solutions such as federated semi-supervised learning (FSSL), which relies on unlabeled clients’ data and a limited amount of labeled data on the server, become pivotal. In this paper, we propose FedAnchor, an innovative FSSL method that introduces a unique double-head structure, called anchor head, paired with the classification head trained exclusively on labeled anchor data on the server. The anchor head is empowered with a newly designed label contrastive loss based on the cosine similarity metric. Our approach mitigates the confirmation bias and overfitting issues associated with pseudo-labeling techniques based on high-confidence model prediction samples. Extensive experiments on CIFAR10/100 and SVHN datasets demonstrate that our method outperforms the state-of-the-art method by a significant margin in terms of convergence rate and model accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google