Scaling Pre-training to One Hundred Billion Data for Vision Language Models

要約

前例のないスケールでのトレーニング前のビジョン言語モデルの可能性についての経験的調査を提供します：1,000億の例。
モデルのパフォーマンスは、ココキャプションなどの多くの一般的な西部中心の分類および検索ベンチマークでこの規模で飽和する傾向があることがわかります。
それにもかかわらず、文化的多様性のタスクは、長期尾の概念をカバーしているおかげで、1,000億スケールのWebデータからより大きな利益を得ています。
さらに、モデルの多言語性を分析し、低リソース言語でも利益を示します。
さらに、通常、パフォーマンスを向上させるために使用されるクリップを使用するなどの高品質フィルターを介して、事前トレーニングデータセットのサイズを縮小することは、大規模なデータセットでも表される文化的多様性を誤って減らすことができることを観察します。
私たちの結果は、従来のベンチマークがノイズの多いRaw Webデータのスケーリングから1,000億の例に大きく利益を得ることはないかもしれないが、このデータスケールは真に包括的なマルチモーダルシステムを構築するために不可欠であることを強調しています。

要約(オリジナル)

We provide an empirical investigation of the potential of pre-training vision-language models on an unprecedented scale: 100 billion examples. We find that model performance tends to saturate at this scale on many common Western-centric classification and retrieval benchmarks, such as COCO Captions. Nevertheless, tasks of cultural diversity achieve more substantial gains from the 100-billion scale web data, thanks to its coverage of long-tail concepts. Furthermore, we analyze the model’s multilinguality and show gains in low-resource languages as well. In addition, we observe that reducing the size of the pretraining dataset via quality filters like using CLIP, typically used to enhance performance, may inadvertently reduce the cultural diversity represented even in large-scale datasets. Our results highlight that while traditional benchmarks may not benefit significantly from scaling noisy, raw web data to 100 billion examples, this data scale is vital for building truly inclusive multimodal systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google