OpenCoS: Contrastive Semi-supervised Learning for Handling Open-set Unlabeled Data

要約

半教師あり学習 (SSL) は、より良い表現を学習する際に少数のラベルを組み込むための強力な戦略です。
このホワイト ペーパーでは、ラベルのないデータにクラス外のサンプル (ラベル データ内のクラスのクローズド セットからのワンホット エンコード ラベルを持つことができないサンプル) が含まれている可能性がある場合に、SSL を適用することを目的とする実際のシナリオに焦点を当てます。
ラベルのないデータは開集合です。
具体的には、自己教師あり視覚表現学習の最近のフレームワークに基づいて、この現実的な半教師あり学習シナリオを処理するためのシンプルなフレームワークである OpenCoS を紹介します。
最初に、オープンセットのラベルのないデータセットのクラス外サンプルを、自己教師あり対照学習によって効果的に識別できることを観察します。
次に、OpenCoS はこの情報を利用して、識別されたクラス内およびクラス外のラベルなしラベルにワンホット疑似ラベルとソフトラベルを利用することにより、既存の最先端の半教師ありメソッドの障害モードを克服します。
データ、それぞれ。
私たちの広範な実験結果は、クラス外サンプルの存在下での OpenCoS の有効性を示しており、オープンセットのラベルなしデータを含むさまざまなシナリオに適した最先端の半教師付きメソッドを修正しています。

要約(オリジナル)

Semi-supervised learning (SSL) has been a powerful strategy to incorporate few labels in learning better representations. In this paper, we focus on a practical scenario that one aims to apply SSL when unlabeled data may contain out-of-class samples – those that cannot have one-hot encoded labels from a closed-set of classes in label data, i.e., the unlabeled data is an open-set. Specifically, we introduce OpenCoS, a simple framework for handling this realistic semi-supervised learning scenario based upon a recent framework of self-supervised visual representation learning. We first observe that the out-of-class samples in the open-set unlabeled dataset can be identified effectively via self-supervised contrastive learning. Then, OpenCoS utilizes this information to overcome the failure modes in the existing state-of-the-art semi-supervised methods, by utilizing one-hot pseudo-labels and soft-labels for the identified in- and out-of-class unlabeled data, respectively. Our extensive experimental results show the effectiveness of OpenCoS under the presence of out-of-class samples, fixing up the state-of-the-art semi-supervised methods to be suitable for diverse scenarios involving open-set unlabeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google