S-CLIP: Semi-supervised Vision-Language Pre-training using Few Specialist Captions

要約

対照的言語画像事前トレーニング (CLIP) などの視覚言語モデルは、自然画像領域で優れた結果を実証しています。
ただし、これらのモデルは、リモート センシングなどの特殊な領域に適用すると問題が発生することが多く、トレーニングに利用できる画像とテキストのペアの数が限られているため、そのような領域に適応するのは困難です。
これに対処するために、追加の不対画像を利用する CLIP をトレーニングするための半教師あり学習方法である S-CLIP を提案します。
S-CLIP は、対比学習と言語モダリティのために特別に設計された 2 つの疑似ラベル付け戦略を採用しています。
キャプションレベルの擬似ラベルは、ペアになっていない画像とペアになっている画像の間の最適トランスポート問題を解くことによって得られる、ペアになっている画像のキャプションの組み合わせによって与えられます。
キーワードレベルの擬似ラベルは、最も近いペア画像のキャプション内のキーワードによって与えられ、正確なラベルの代わりに監視用のラベルの候補セットを想定する部分的なラベル学習を通じてトレーニングされます。
これらの目的を組み合わせることで、リモート センシング、ファッション、科学的人物、コミックなどのさまざまな専門分野で実証されているように、S-CLIP はわずか数個の画像とテキストのペアを使用するだけで CLIP のトレーニングを大幅に強化します。
たとえば、S-CLIP は、リモート センシング ベンチマークでのゼロショット分類で CLIP を 10%、画像とテキストの取得で 4% 向上させ、使用する画像とテキストのペアを 3 分の 1 にしながら教師あり CLIP のパフォーマンスに匹敵します。

要約(オリジナル)

Vision-language models, such as contrastive language-image pre-training (CLIP), have demonstrated impressive results in natural image domains. However, these models often struggle when applied to specialized domains like remote sensing, and adapting to such domains is challenging due to the limited number of image-text pairs available for training. To address this, we propose S-CLIP, a semi-supervised learning method for training CLIP that utilizes additional unpaired images. S-CLIP employs two pseudo-labeling strategies specifically designed for contrastive learning and the language modality. The caption-level pseudo-label is given by a combination of captions of paired images, obtained by solving an optimal transport problem between unpaired and paired images. The keyword-level pseudo-label is given by a keyword in the caption of the nearest paired image, trained through partial label learning that assumes a candidate set of labels for supervision instead of the exact one. By combining these objectives, S-CLIP significantly enhances the training of CLIP using only a few image-text pairs, as demonstrated in various specialist domains, including remote sensing, fashion, scientific figures, and comics. For instance, S-CLIP improves CLIP by 10% for zero-shot classification and 4% for image-text retrieval on the remote sensing benchmark, matching the performance of supervised CLIP while using three times fewer image-text pairs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google