Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch

要約

Federated Semi-Supervised Learning（FSSL）は、限られたラベル付きデータを持つクライアント間で非標識データを活用して、強力な一般化能力を備えたグローバルモデルをトレーニングすることを目的としています。
ほとんどのFSSLメソッドは、擬似ラベルとの一貫性の正規化に依存しており、ローカルモデルまたはグローバルモデルからの予測を監督信号として硬い擬似ラベルに変換します。
しかし、擬似界面の質は、フェデレート学習の本質的な側面であるデータの不均一性によって大幅に悪化していることがわかります。
この論文では、FSSLの詳細な問題を調査し、（1）不均一性が擬似ラベルのミスマッチを悪化させ、モデルのパフォーマンスと収束をさらに低下させ、（2）局所およびグローバルモデルの予測傾向が異質性が増加するにつれて分岐することを示します。
これらの調査結果に動機付けられて、私たちは、自信の矛盾に基づいて擬似ラベルを柔軟に修正できる、グローバルに強化されたアンサンブル（SAGE）の半監視集約と呼ばれるシンプルで効果的な方法を提案します。
この戦略は、誤った擬似適応によって引き起こされるパフォーマンスの劣化を効果的に緩和し、ローカルモデルとグローバルモデル間のコンセンサスを強化します。
実験結果は、SAGEがパフォーマンスと収束の両方で既存のFSSLメソッドを上回ることを示しています。
私たちのコードは、https：//github.com/jay-codeman/sageで入手できます

要約(オリジナル)

Federated Semi-Supervised Learning (FSSL) aims to leverage unlabeled data across clients with limited labeled data to train a global model with strong generalization ability. Most FSSL methods rely on consistency regularization with pseudo-labels, converting predictions from local or global models into hard pseudo-labels as supervisory signals. However, we discover that the quality of pseudo-label is largely deteriorated by data heterogeneity, an intrinsic facet of federated learning. In this paper, we study the problem of FSSL in-depth and show that (1) heterogeneity exacerbates pseudo-label mismatches, further degrading model performance and convergence, and (2) local and global models’ predictive tendencies diverge as heterogeneity increases. Motivated by these findings, we propose a simple and effective method called Semi-supervised Aggregation for Globally-Enhanced Ensemble (SAGE), that can flexibly correct pseudo-labels based on confidence discrepancies. This strategy effectively mitigates performance degradation caused by incorrect pseudo-labels and enhances consensus between local and global models. Experimental results demonstrate that SAGE outperforms existing FSSL methods in both performance and convergence. Our code is available at https://github.com/Jay-Codeman/SAGE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google