Unsupervised Selective Labeling for More Effective Semi-Supervised Learning

要約

ラベルのないデータセットとアノテーションの予算が与えられた場合、このような部分的にラベルが付けられたデータセットに対する半教師あり学習 (SSL) が最も効果的になるように、固定数のインスタンスに選択的にラベルを付ける方法を研究します。
通常の SSL によるラベル付きデータから残りのラベルなしデータへラベルを伝播することに加えて、ラベルを付ける適切なデータを選択することに重点を置いています。
ラベル付けされたデータがなければ、学習の目的が何であるべきかわからないため、このインスタンスの選択タスクは困難です。
直感的には、下流のタスクが何であるかに関係なく、ラベル付けされるインスタンスは代表的かつ多様である必要があります。前者はラベルのないデータへのラベルの伝播を容易にするのに対し、後者はデータセット全体を確実にカバーします。
このアイデアは、事前トレーニング済みの特徴空間内で、または特徴の最適化とともに、どちらもラベルなしでクラスター プロトタイプを選択することで実現します。
当社の教師なし選択的ラベリングは、ラベル付きデータを与えられた場合の最先端のアクティブ ラーニングに比べて SSL 手法を一貫して 8 ～ 25 倍向上させ、ラベル効率を向上させます。
たとえば、0.08% (0.2%) のラベル付きデータを使用する CIFAR-10 (ImageNet-1K) では、FixMatch の精度が 10% (14%) 向上します。これは、ラベル付けするデータの選択に費やされる小規模な計算が、特に以下の環境で大幅な向上をもたらすことを示しています。
アノテーションの予算が低い。
私たちの取り組みは、実用的で効率的な SSL の新しい標準を確立します。

要約(オリジナル)

Given an unlabeled dataset and an annotation budget, we study how to selectively label a fixed number of instances so that semi-supervised learning (SSL) on such a partially labeled dataset is most effective. We focus on selecting the right data to label, in addition to usual SSL’s propagating labels from labeled data to the rest unlabeled data. This instance selection task is challenging, as without any labeled data we do not know what the objective of learning should be. Intuitively, no matter what the downstream task is, instances to be labeled must be representative and diverse: The former would facilitate label propagation to unlabeled data, whereas the latter would ensure coverage of the entire dataset. We capture this idea by selecting cluster prototypes, either in a pretrained feature space, or along with feature optimization, both without labels. Our unsupervised selective labeling consistently improves SSL methods over state-of-the-art active learning given labeled data, by 8 to 25 times in label efficiency. For example, it boosts FixMatch by 10% (14%) in accuracy on CIFAR-10 (ImageNet-1K) with 0.08% (0.2%) labeled data, demonstrating that small computation spent on selecting what data to label brings significant gain especially under a low annotation budget. Our work sets a new standard for practical and efficient SSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google