Semi-Supervised Learning in the Few-Shot Zero-Shot Scenario

要約

半教師あり学習 (SSL) は、ラベル付きデータとラベルなしデータの両方を利用してモデルのパフォーマンスを向上させるフレームワークです。
従来の SSL メソッドは、ラベル付きデータとラベルなしデータが同じラベル空間を共有するという前提に基づいて動作します。
ただし、実際の現実のシナリオでは、特にラベル付きトレーニング データセットのサイズが制限されている場合、一部のクラスがラベル付きセットにまったく存在しない可能性があります。
このより広範なコンテキストに対処するために、既存の SSL メソッドを強化して、特定のクラスが欠落している状況を効果的に処理できるようにする一般的なアプローチを提案します。
これは、目的関数に追加の項を導入することで実現され、真のクラス頻度と推定クラス頻度の確率ベクトル間の KL 発散にペナルティを課します。
当社の実験結果では、最先端の SSL、オープンセット SSL、オープンワールド SSL 方式と比較して、精度が大幅に向上していることが明らかになりました。
これらの実験は、CIFAR-100 と STL-10 という 2 つのベンチマーク画像分類データセットで実施しました。最も顕著な改善は、ラベル付きデータが厳しく制限されており、クラスごとにラベル付きの例が数個しかない場合に観察されました。

要約(オリジナル)

Semi-Supervised Learning (SSL) is a framework that utilizes both labeled and unlabeled data to enhance model performance. Conventional SSL methods operate under the assumption that labeled and unlabeled data share the same label space. However, in practical real-world scenarios, especially when the labeled training dataset is limited in size, some classes may be totally absent from the labeled set. To address this broader context, we propose a general approach to augment existing SSL methods, enabling them to effectively handle situations where certain classes are missing. This is achieved by introducing an additional term into their objective function, which penalizes the KL-divergence between the probability vectors of the true class frequencies and the inferred class frequencies. Our experimental results reveal significant improvements in accuracy when compared to state-of-the-art SSL, open-set SSL, and open-world SSL methods. We conducted these experiments on two benchmark image classification datasets, CIFAR-100 and STL-10, with the most remarkable improvements observed when the labeled data is severely limited, with only a few labeled examples per class

arxiv情報

提供元, 利用サービス

arxiv.jp, Google