DataComp: In search of the next generation of multimodal datasets

要約

タイトル：DataComp：次世代のマルチモーダルデータセットの探求

要約：
– 大規模なマルチモーダルデータセットは、CLIP、Stable Diffusion、GPT-4などの最近のブレイクスルーに重要な役割を果たしています。
– 一方、データセットは、モデルアーキテクチャやトレーニングアルゴリズムと同じように研究対象とはなっていません。
– この機械学習エコシステムの不備に対処するために、DataCompを導入しました。このベンチマークでは、トレーニングコードが固定され、研究者は新しいトレーニングセットを提案することでイノベーションを行います。
– 我々は、Common Crawlからの新しい候補プールに中心を置いたデータセット実験のテストベッドを提供します。
– ベンチマークは、複数のスケールで構成されており、トレーニング中に見られるサンプル数が12.8Mから12.8Bまでの4つの候補プールサイズと関連する計算予算があります。
– DataCompのワークフローは、マルチモーダルデータセットの改善の有望な方法と見なされています。DataComp-1Bは、12.8Bの候補プールに簡単なフィルタリングアルゴリズムを適用して作成されたデータセットで、ImageNetでCLIP ViT-L/14を0.792のゼロショット精度でスクラッチからトレーニングできます。
– 新しいViT-L/14モデルは、LAION-2Bでトレーニングされたより大きなViT-g/14よりも0.7パーセントポイント優れているのに対し、9倍少ないトレーニング計算が必要です。
– 同じ計算予算でトレーニングされたOpenAIのCLIP ViT-L/14よりも3.7パーセントポイント優れています。
– これらの利点は、トレーニングセットを注意深くキュレーションすることによってモデルのパフォーマンスを改善する可能性を示しています。

要約(オリジナル)

Large multimodal datasets have been instrumental in recent breakthroughs such as CLIP, Stable Diffusion, and GPT-4. At the same time, datasets rarely receive the same research attention as model architectures or training algorithms. To address this shortcoming in the machine learning ecosystem, we introduce DataComp, a benchmark where the training code is fixed and researchers innovate by proposing new training sets. We provide a testbed for dataset experiments centered around a new candidate pool of 12.8B image-text pairs from Common Crawl. Participants in our benchmark design new filtering techniques or curate new data sources and then evaluate their new dataset by running our standardized CLIP training code and testing on 38 downstream test sets. Our benchmark consists of multiple scales, with four candidate pool sizes and associated compute budgets ranging from 12.8M to 12.8B samples seen during training. This multi-scale design facilitates the study of scaling trends and makes the benchmark accessible to researchers with varying resources. Our baseline experiments show that the DataComp workflow is a promising way of improving multimodal datasets. We introduce DataComp-1B, a dataset created by applying a simple filtering algorithm to the 12.8B candidate pool. The resulting 1.4B subset enables training a CLIP ViT-L/14 from scratch to 79.2% zero-shot accuracy on ImageNet. Our new ViT-L/14 model outperforms a larger ViT-g/14 trained on LAION-2B by 0.7 percentage points while requiring 9x less training compute. We also outperform OpenAI’s CLIP ViT-L/14 by 3.7 percentage points, which is trained with the same compute budget as our model. These gains highlight the potential for improving model performance by carefully curating training sets. We view DataComp-1B as only the first step and hope that DataComp paves the way toward the next generation of multimodal datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI