Unlabeled Data or Pre-trained Model: Rethinking Semi-Supervised Learning and Pretrain-Finetuning

要約

半教師の学習（SSL）は、非標識データを活用することにより、データラベル付けプロセスのコストを緩和し、画像分類などのさまざまなタスクで有望な結果を達成しています。
一方、プレレイン前獲得のパラダイムは近年かなりの注目を集めており、事前に訓練されたモデルを活用すると、下流タスクのラベル付きデータの要件も削減できます。
したがって、質問が自然に発生します。\ emph {ラベル付きデータがターゲットタスクで不足している場合、ラベル付けされていないデータまたは事前に訓練されたモデルを悪用する必要がありますか？}
使用されるラベル付きデータの量。
さまざまな設定にわたる広範な実験は、データの解像度が低いか明確なセマンティック構造がない場合を除き、ほぼすべての場合に、事前に訓練されたVLMが一般にSSLメソッドを上回ることを示しています。
したがって、将来のSSL研究に、事前に訓練されたモデルと比較し、事前に訓練された知識を使用して擬似標識を強化するなど、より深い統合を探求することを奨励します。
将来の研究をサポートするために、統一された複製と評価のフレームワークをリリースします。
コードは\ href {https://anonymous.4open.science/r/Rethinking-ssl-and-pretrain-finetuning-5566} {ここで}。

要約(オリジナル)

Semi-supervised learning (SSL) alleviates the cost of data labeling process by exploiting unlabeled data, and has achieved promising results on various tasks such as image classification. Meanwhile, the Pretrain-Finetuning paradigm has garnered significant attention in recent years, and exploiting pre-trained models could also reduce the requirement of labeled data in downstream tasks. Therefore, a question naturally occurs: \emph{When the labeled data is scarce in the target tasks, should we exploit unlabeled data or pre-trained models?} To answer this question, we select pre-trained Vision-Language Models (VLMs) as representative pretrain-finetuning instances and propose \textit{Few-shot SSL} — a framework that enables fair comparison between these two paradigms by controlling the amount of labeled data used. Extensive experiments across various settings demonstrate that pre-trained VLMs generally outperform SSL methods in nearly all cases, except when the data has low resolution or lacks clear semantic structure. Therefore, we encourage future SSL research to compare with pre-trained models and explore deeper integration, such as using pre-trained knowledge to enhance pseudo-labeling. To support future research, we release our unified reproduction and evaluation framework. Codes are available \href{https://anonymous.4open.science/r/Rethinking-SSL-and-Pretrain-Finetuning-5566 }{here}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google