Towards Unbiased Training in Federated Open-world Semi-supervised Learning

要約

タイトル：分散オープンワールド半教師あり学習における偏りのないフェデレーテッドトレーニングへの取り組み

要約：

– Federated Semi-supervised Learning（FedSSL）は、分散されたクライアントが希少なラベル付きデータと豊富なラベルなしデータを共同で学習する新しい学習法である。
– しかし、FedSSLにおいては、すべてのローカルトレーニングデータとグローバルテストデータがラベル付きデータセットで観測された知られたクラスであるというクローズドワールドの仮定に基づいている。
– それに対して、新しいフェドSSLのフレームワークであるFederatedopen-world Semi-Supervised Learning（FedoSSL）を提案しており、未知のクラスがラベルなしデータに存在するオープンワールドに状況設定を追加している。
– クライアントによっては、特定の未知のクラスが存在する場合があるため、ローカルに存在する未知のクラス（複数のクライアントに存在する）は、グローバルに存在する未知のクラス（1つのクライアントにしか存在しない）よりも優れた集約効果を受ける可能性が高い。それに対応するため、不確実性に配慮した抑制損失を採用して、ローカルに存在する未知のクラスとグローバルに存在する未知のクラスとの間の偏りを緩和する。
– また、異なるクライアント間でデータの分布が不一致になることによる相反する知識伝達を避けるために、グローバル集約に補完するキャリブレーションモジュールを設定する。
– CIFAR-10、CIFAR-100、CINIC-10のベンチマークと実世界のデータセットでの広範な実験により、提案されたFedoSSLが最先端のFL方法に容易に適応することができることが検証された。

要約(オリジナル)

Federated Semi-supervised Learning (FedSSL) has emerged as a new paradigm for allowing distributed clients to collaboratively train a machine learning model over scarce labeled data and abundant unlabeled data. However, existing works for FedSSL rely on a closed-world assumption that all local training data and global testing data are from seen classes observed in the labeled dataset. It is crucial to go one step further: adapting FL models to an open-world setting, where unseen classes exist in the unlabeled data. In this paper, we propose a novel Federatedopen-world Semi-Supervised Learning (FedoSSL) framework, which can solve the key challenge in distributed and open-world settings, i.e., the biased training process for heterogeneously distributed unseen classes. Specifically, since the advent of a certain unseen class depends on a client basis, the locally unseen classes (exist in multiple clients) are likely to receive differentiated superior aggregation effects than the globally unseen classes (exist only in one client). We adopt an uncertainty-aware suppressed loss to alleviate the biased training between locally unseen and globally unseen classes. Besides, we enable a calibration module supplementary to the global aggregation to avoid potential conflicting knowledge transfer caused by inconsistent data distribution among different clients. The proposed FedoSSL can be easily adapted to state-of-the-art FL methods, which is also validated via extensive experiments on benchmarks and real-world datasets (CIFAR-10, CIFAR-100 and CINIC-10).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI