Masked Unsupervised Self-training for Zero-shot Image Classification

要約

最新のコンピュータビジョンモデルは、人間がラベル付けした画像を用いた教師あり学習が主流であり、高価なアノテーションコストのためにスケーラビリティが制限されている。自己教師付き学習は目覚ましい進歩を遂げていますが、ラベル付きデータでの微調整という第二段階が必要です。一方、CLIPなどの大規模なテキスト画像監視により事前に学習されたモデルは、下流の画像分類タスクへのゼロショット転送を可能にしている。しかし、CLIPのようなモデルのゼロショット性能は、実世界で採用するには不十分な場合が多い。本論文では、豊富な非ラベル化データを活用し、事前に学習したゼロショット分類器の下流タスクでの性能を向上させることを目的とする。我々はマスク付き教師なし自己学習(MUST)を提案する。これは、擬似ラベルと生画像という2つの異なる補完的な教師ソースを活用する新しいアプローチである。MUSTは、クラスレベルの大域的特徴とピクセルレベルの局所的特徴の両方を学習するために、3つの目的を共同で最適化し、その2つの間の正則化を強制する。MUSTはCLIPを大幅に改善し、教師なし分類と教師あり分類の間の性能差を縮めることができる。例えば、MUSTはViT-Bを用いたImageNetにおいて、CLIPより9.4%高い77.7%のゼロショットトップ1精度を達成しました。我々のコードは https://github.com/salesforce/MUST で公開されています。

要約(オリジナル)

State-of-the-art computer vision models are mostly trained with supervised learning using human-labeled images, which limits their scalability due to the expensive annotation cost. While self-supervised representation learning has achieved impressive progress, it still requires a second stage of finetuning on labeled data. On the other hand, models pre-trained with large-scale text-image supervision (e.g., CLIP) have enabled zero-shot transfer to downstream image classification tasks. However, the zero-shot performance of CLIP-like models are often insufficient for real-world adoption. In this paper, we aim to leverage the abundant unlabeled data to improve the performance of a pre-trained zero-shot classifier on downstream tasks. We propose Masked Unsupervised Self-Training (MUST), a new approach which leverages two different and complimentary sources of supervision: pseudo-labels and raw images. MUST jointly optimizes three objectives to learn both class-level global feature and pixel-level local feature and enforces a regularization between the two. We demonstrate the efficacy of MUST on 8 downstream tasks across a variety of domains, where it improves upon CLIP by a large margin and narrows the performance gap between unsupervised and supervised classification. For instance, MUST achieves a zero-shot top-1 accuracy of 77.7% on ImageNet using ViT-B, +9.4% higher than CLIP. Our code is available at https://github.com/salesforce/MUST.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL