Combating Data Imbalances in Federated Semi-supervised Learning with Dual Regulators

要約

フェデレーテッド ラーニングは、分散化された異種データから学習するための一般的な方法となっています。
分散型クライアントではラベルが不足しているため、ラベル付きデータのごく一部からモデルをトレーニングするために、フェデレーション半教師あり学習 (FSSL) が登場しました。
既存の FSSL メソッドは、クライアント全体にわたる独立同一分散 (IID) ラベル付きデータと、クライアント内のラベル付きデータとラベルなしデータ間の一貫したクラス分散を前提としています。
この研究では、FSSL のより実践的で挑戦的なシナリオを研究しています。FSSL では、データの分散がクライアント間だけでなく、クライアント内でもラベル付きデータとラベルなしデータの間で異なります。
この課題に対処するために、私たちは二重規制機関である FedDure を備えた新しい FSSL フレームワークを提案します。
FedDure は、粗粒度レギュレーター (C-reg) と細粒度レギュレーター (F-reg) を使用して以前の仮定を覆します。C-reg は、ラベル付きデータ分布に対する学習効果を追跡することにより、ローカル モデルの更新を正規化します。
F-reg は、各クライアントのラベルのないインスタンスに合わせた適応重み付けスキームを学習します。
さらに、クライアント モデルのトレーニングを、2 つのレギュレーターを使用してクライアント内のモデルを適応的に最適化するバイレベル最適化として定式化します。
理論的には、デュアルレギュレータの収束保証を示します。
経験的に、FedDure は幅広い設定にわたって既存の手法よりも優れており、特に CIFAR-10 および CINIC-10 データセットでは 11 以上優れていることが実証されています。

要約(オリジナル)

Federated learning has become a popular method to learn from decentralized heterogeneous data. Federated semi-supervised learning (FSSL) emerges to train models from a small fraction of labeled data due to label scarcity on decentralized clients. Existing FSSL methods assume independent and identically distributed (IID) labeled data across clients and consistent class distribution between labeled and unlabeled data within a client. This work studies a more practical and challenging scenario of FSSL, where data distribution is different not only across clients but also within a client between labeled and unlabeled data. To address this challenge, we propose a novel FSSL framework with dual regulators, FedDure. FedDure lifts the previous assumption with a coarse-grained regulator (C-reg) and a fine-grained regulator (F-reg): C-reg regularizes the updating of the local model by tracking the learning effect on labeled data distribution; F-reg learns an adaptive weighting scheme tailored for unlabeled instances in each client. We further formulate the client model training as bi-level optimization that adaptively optimizes the model in the client with two regulators. Theoretically, we show the convergence guarantee of the dual regulators. Empirically, we demonstrate that FedDure is superior to the existing methods across a wide range of settings, notably by more than 11 on CIFAR-10 and CINIC-10 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google