SIEVE: Multimodal Dataset Pruning Using Image Captioning Models

要約

視覚言語モデル(VLM)は、大規模で、多様で、ノイズの多いウェブクローリングデータセットを用いて事前学習される。これらのデータセットの質は、下流のタスクにおけるVLMの性能と強い相関があるため、データセットの刈り込みの重要性が強調されます。事前学習されたモデルからCLIPScoreを使用して、高度に整列されたサンプルを使用するモデルのみを学習することは、プルーニングのための最も成功した方法の一つである：1)事前に訓練されたCLIPモデルによって捕捉された偽の相関による偽陽性、2)ハードサンプルとバッドサンプルの間の不十分な識別による偽陰性、3)事前に訓練されたCLIPデータセットに類似したサンプルへの偏ったランキング。我々は、ノイズの多い画像-テキストペアのアライメントを評価するために、小さく、多様で、よくアライメントされた画像-テキストペアで事前学習された画像キャプションモデルによって生成された合成キャプションを用いるプルーニング手法、SIEVEを提案する。生成されたキャプションの限られた多様性と、代替テキスト（alt-text）の高い多様性とのギャップを埋めるために、数十億の文に対して事前学習された言語モデルの埋め込み空間における意味的テキスト類似度を推定する。マルチモーダルデータセットのフィルタリングベンチマークであるDataCompを用い、大規模プールでは最先端の性能を達成し、中規模プールでは38のダウンストリームタスクにおいてCLIPScoreベースのフィルタリングを平均で1.7%と2.6%上回る競争力のある結果を得た。

要約(オリジナル)

Vision-Language Models (VLMs) are pretrained on large, diverse, and noisy web-crawled datasets. This underscores the critical need for dataset pruning, as the quality of these datasets is strongly correlated with the performance of VLMs on downstream tasks. Using CLIPScore from a pretrained model to only train models using highly-aligned samples is one of the most successful methods for pruning.We argue that this approach suffers from multiple limitations including: 1) false positives due to spurious correlations captured by the pretrained CLIP model, 2) false negatives due to poor discrimination between hard and bad samples, and 3) biased ranking towards samples similar to the pretrained CLIP dataset. We propose a pruning method, SIEVE, that employs synthetic captions generated by image-captioning models pretrained on small, diverse, and well-aligned image-text pairs to evaluate the alignment of noisy image-text pairs. To bridge the gap between the limited diversity of generated captions and the high diversity of alternative text (alt-text), we estimate the semantic textual similarity in the embedding space of a language model pretrained on billions of sentences. Using DataComp, a multimodal dataset filtering benchmark, we achieve state-of-the-art performance on the large scale pool, and competitive results on the medium scale pool, surpassing CLIPScore-based filtering by 1.7% and 2.6% on average, on 38 downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL