Training CLIP models on Data from Scientific Papers

要約

Contrastive Language-Image Pretraining (CLIP) モデルは、画像とテキストの意味関係を捉えることができ、画像検索から分類まで幅広いアプリケーションを可能にしました。
これらのモデルは、Web クロールから抽出されたデータセットを使用してトレーニングされます。データセットは量は多いものの、品質は限られています。
この論文では、特定のドメインにおける限られた量の高品質データが CLIP モデルの全体的なパフォーマンスを向上させるかどうかを調査します。
この目的のために、arXiv および PubMed Central リポジトリでホストされている科学論文からテキスト画像データを抽出します。
小規模の CLIP モデル (ViT B/32) での実験では、モデルのパフォーマンスが平均的には向上しますが、その効果は中程度であることが示されています。
この結果は、論文で検討されているデータ ソースを使用して大規模な CLIP モデルをトレーニングすることが価値のある研究方向であることを示しています。

要約(オリジナル)

Contrastive Language-Image Pretraining (CLIP) models are able to capture the semantic relationship of images and texts and have enabled a wide range of applications, from image retrieval to classification. These models are trained with datasets extracted from web crawls, which are of large quantity but limited quality. This paper explores whether limited amounts higher quality data in a specific domain improve the general performance of CLIP models. To this purpose, we extract text-image data from scientific papers hosted in the arXiv and PubMed Central repositories. Experiments on small-scale CLIP models (ViT B/32) show that model performance increases on average, but only moderately. This result indicates that using the data sources considered in the paper to train large-scale CLIP models is a worthwile research direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google