Addressing Class Variable Imbalance in Federated Semi-supervised Learning

要約

Federated Semi-supervised Learning (FSSL) は、連合学習と半教師あり学習の両方の分野の手法を組み合わせて、ラベル付きデータのごく一部と大量のラベルなしデータを使用して、分散環境でのモデルの精度とパフォーマンスを向上させます。
トレーニングのためにすべてのデータを 1 か所に集中させる必要がなく、デバイスがローカルでモデルをトレーニングした後にモデル トレーニングの更新を収集するため、ユーザー データのプライバシーを保護できます。
ただし、連邦政府のトレーニング プロセス中に、一部のデバイスはローカル トレーニングに十分なデータを収集できませんが、新しいデバイスはグループ トレーニングに含まれます。
これにより、グローバル データの分散が不均衡になり、グローバル モデル トレーニングのパフォーマンスに影響します。
現在の研究のほとんどは、固定数のクラスによるクラスの不均衡に焦点を当てていますが、可変数のクラスによるデータの不均衡にはほとんど注意が払われていません。
したがって、この論文では、クラス変数の不均衡を解決するために、クラス変数の不均衡に対するフェデレーテッド半教師あり学習 (FCVI) を提案します。
クラス変数学習アルゴリズムは、クラス数の変化によるデータの不均衡を緩和するために使用されます。
私たちのスキームは、クライアントのプライバシーを維持しながら、ベースラインの方法よりもはるかに優れていることが証明されています.

要約(オリジナル)

Federated Semi-supervised Learning (FSSL) combines techniques from both fields of federated and semi-supervised learning to improve the accuracy and performance of models in a distributed environment by using a small fraction of labeled data and a large amount of unlabeled data. Without the need to centralize all data in one place for training, it collect updates of model training after devices train models at local, and thus can protect the privacy of user data. However, during the federal training process, some of the devices fail to collect enough data for local training, while new devices will be included to the group training. This leads to an unbalanced global data distribution and thus affect the performance of the global model training. Most of the current research is focusing on class imbalance with a fixed number of classes, while little attention is paid to data imbalance with a variable number of classes. Therefore, in this paper, we propose Federated Semi-supervised Learning for Class Variable Imbalance (FCVI) to solve class variable imbalance. The class-variable learning algorithm is used to mitigate the data imbalance due to changes of the number of classes. Our scheme is proved to be significantly better than baseline methods, while maintaining client privacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google