(FL)$^2$: Overcoming Few Labels in Federated Semi-Supervised Learning

要約

Federated Learning (FL) は、クライアントのプライバシーに配慮したデータを保護しながら、正確なグローバル モデルをトレーニングする分散型機械学習フレームワークです。
ただし、ほとんどの FL アプローチは、クライアントがラベル付きデータを所有していることを前提としていますが、実際にはそうではないことがよくあります。
Federated Semi-Supervised Learning (FSSL) は、サーバーのみが少量のラベル付きデータを持ち、クライアントが持たない状況を対象として、このラベル不足の問題に対処します。
ただし、集中型半教師あり学習 (SSL) と FSSL の間には、パフォーマンスに大きなギャップが存在します。
このギャップは確証バイアスから生じます。これは、複数のローカル トレーニング エポックとラベル付きデータとラベルなしデータの分離により、FSSL でより顕著になります。
私たちは $(FL)^2$ という、シャープネスを意識した一貫性正則化を使用した、ラベルのないクライアント向けの堅牢なトレーニング方法を提案します。
元の擬似ラベル損失を正則化することは最適ではないため、正則化のためにラベルのないサンプルを慎重に選択することを示します。
さらに、クライアント固有の適応しきい値処理と学習ステータスを認識した集計を導入して、各クライアントの学習の進行状況に基づいてトレーニング プロセスを調整します。
3 つのベンチマーク データセットでの実験では、特にラベル付きデータが少ないシナリオにおいて、このアプローチがパフォーマンスを大幅に向上させ、SSL とのギャップを埋めることができることを示しています。

要約(オリジナル)

Federated Learning (FL) is a distributed machine learning framework that trains accurate global models while preserving clients’ privacy-sensitive data. However, most FL approaches assume that clients possess labeled data, which is often not the case in practice. Federated Semi-Supervised Learning (FSSL) addresses this label deficiency problem, targeting situations where only the server has a small amount of labeled data while clients do not. However, a significant performance gap exists between Centralized Semi-Supervised Learning (SSL) and FSSL. This gap arises from confirmation bias, which is more pronounced in FSSL due to multiple local training epochs and the separation of labeled and unlabeled data. We propose $(FL)^2$, a robust training method for unlabeled clients using sharpness-aware consistency regularization. We show that regularizing the original pseudo-labeling loss is suboptimal, and hence we carefully select unlabeled samples for regularization. We further introduce client-specific adaptive thresholding and learning status-aware aggregation to adjust the training process based on the learning progress of each client. Our experiments on three benchmark datasets demonstrate that our approach significantly improves performance and bridges the gap with SSL, particularly in scenarios with scarce labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google