SSB: Simple but Strong Baseline for Boosting Performance of Open-Set Semi-Supervised Learning

要約

半教師あり学習 (SSL) 手法は、ラベルのないデータを効果的に活用してモデルの一般化を改善します。
ただし、SSL モデルは、ラベルなしデータにラベル付きセットには現れない新しいカテゴリの外れ値が含まれるオープンセット シナリオではパフォーマンスが低下することがよくあります。
このペーパーでは、挑戦的かつ現実的なオープンセット SSL 設定について研究します。その目標は、内値を正しく分類し、外れ値を検出することです。
直感的には、インライア分類器はインライア データのみでトレーニングする必要があります。
ただし、インライアか外れ値かに関係なく、信頼性の高い擬似ラベル付きデータを組み込むことで、インライアの分類パフォーマンスが大幅に向上できることがわかりました。
また、非線形変換を利用して、マルチタスク学習フレームワークにおけるインライア分類とアウトライア検出に使用される特徴を分離し、それらの間の悪影響を防ぐことを提案します。
さらに、異常値の検出パフォーマンスをさらに向上させる疑似ネガティブ マイニングを導入します。
3 つの要素は、オープンセット SSL の Simple but Strong Baseline (SSB) と呼ばれるものにつながります。
実験では、SSB はインライア分類とアウトライア検出の両方のパフォーマンスを大幅に向上させ、既存の方法を大幅に上回りました。
コードは https://github.com/YUE-FAN/SSB で公開されます。

要約(オリジナル)

Semi-supervised learning (SSL) methods effectively leverage unlabeled data to improve model generalization. However, SSL models often underperform in open-set scenarios, where unlabeled data contain outliers from novel categories that do not appear in the labeled set. In this paper, we study the challenging and realistic open-set SSL setting, where the goal is to both correctly classify inliers and to detect outliers. Intuitively, the inlier classifier should be trained on inlier data only. However, we find that inlier classification performance can be largely improved by incorporating high-confidence pseudo-labeled data, regardless of whether they are inliers or outliers. Also, we propose to utilize non-linear transformations to separate the features used for inlier classification and outlier detection in the multi-task learning framework, preventing adverse effects between them. Additionally, we introduce pseudo-negative mining, which further boosts outlier detection performance. The three ingredients lead to what we call Simple but Strong Baseline (SSB) for open-set SSL. In experiments, SSB greatly improves both inlier classification and outlier detection performance, outperforming existing methods by a large margin. Our code will be released at https://github.com/YUE-FAN/SSB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google