Prompt-driven efficient Open-set Semi-supervised Learning

要約

オープン セットの半教師あり学習 (OSSL) への関心が高まっており、分布外 (OOD) サンプルがラベル付けされていないデータにのみ含まれる、より実用的なシナリオを調査しています。
OpenMatch などの既存の OSSL メソッドは、OOD 検出器を学習して外れ値を識別します。外れ値は、多くの場合、すべてのモーダル パラメーター (つまり、完全な微調整) を更新して、ラベル付きデータからラベルなしデータにクラス情報を伝達します。
現在、事前トレーニングと微調整の間のギャップを埋めるために迅速な学習が開発されており、いくつかのダウンストリーム タスクでより高い計算効率が示されています。
このホワイト ペーパーでは、OpenPrompt と呼ばれるプロンプト駆動型の効率的な OSSSL フレームワークを提案します。このフレームワークは、少数のトレーニング可能なパラメーターのみを使用して、ラベル付けされたデータからラベル付けされていないデータにクラス情報を伝達できます。
ラベル付けされていないデータのIDサンプルとOODサンプル間の分布ギャップを最大化することにより、OODデータを検出するプロンプト主導の共同空間学習メカニズムを提案します。これにより、この方法により、外れ値を新しい方法で検出できます。
3 つの公開データセットでの実験結果は、トレーニング可能なパラメーターが 1% 未満で、OpenPrompt が最先端の方法よりも優れていることを示しています。
さらに重要なことに、OpenPrompt は、CIFAR10 の完全に監視されたモデルよりも、外れ値検出で AUROC に関して 4% の改善を達成しています。

要約(オリジナル)

Open-set semi-supervised learning (OSSL) has attracted growing interest, which investigates a more practical scenario where out-of-distribution (OOD) samples are only contained in unlabeled data. Existing OSSL methods like OpenMatch learn an OOD detector to identify outliers, which often update all modal parameters (i.e., full fine-tuning) to propagate class information from labeled data to unlabeled ones. Currently, prompt learning has been developed to bridge gaps between pre-training and fine-tuning, which shows higher computational efficiency in several downstream tasks. In this paper, we propose a prompt-driven efficient OSSL framework, called OpenPrompt, which can propagate class information from labeled to unlabeled data with only a small number of trainable parameters. We propose a prompt-driven joint space learning mechanism to detect OOD data by maximizing the distribution gap between ID and OOD samples in unlabeled data, thereby our method enables the outliers to be detected in a new way. The experimental results on three public datasets show that OpenPrompt outperforms state-of-the-art methods with less than 1% of trainable parameters. More importantly, OpenPrompt achieves a 4% improvement in terms of AUROC on outlier detection over a fully supervised model on CIFAR10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google