Demystifying CLIP Data

要約

Contrastive Language-Image Pre-training (CLIP) は、コンピューター ビジョンにおける高度な研究と応用をもたらし、最新の認識システムと生成モデルを強化するアプローチです。
私たちは、CLIP の成功の主な要素はデータであり、モデル アーキテクチャや事前トレーニングの目標ではないと信じています。
ただし、CLIP はデータとその収集方法に関する非常に限られた情報しか提供しないため、モデル パラメータでフィルタリングすることによって CLIP のデータを再現することを目的とした作品が生まれています。
この作業では、CLIP のデータ キュレーション アプローチを明らかにし、それをコミュニティにオープンにすることを目指して、Metadata-Curated Language-Image Pre-training (MetaCLIP) を導入する予定です。
MetaCLIP は、生のデータ プールとメタデータ (CLIP の概念から派生した) を取得し、メタデータの分散全体にわたってバランスの取れたサブセットを生成します。
私たちの実験的研究では、モデルとトレーニング設定を厳密に分離し、データのみに焦点を当てます。
400M の画像とテキストのデータ ペアを CommonCrawl に適用した MetaCLIP は、複数の標準ベンチマークで CLIP のデータを上回ります。
ゼロショット ImageNet 分類では、MetaCLIP は 70.8% の精度を達成し、ViT-B モデルでの CLIP の 68.3% を上回ります。
同じトレーニング予算を維持しながら 1B データへのスケーリングは 72.4% に達します。
私たちの観察結果は、さまざまなサイズのモデルにわたって当てはまり、付加機能なしで ViT-H が 80.5% を達成したことがその例です。
メタデータに関するキュレーション コードとトレーニング データの配布は、https://github.com/facebookresearch/MetaCLIP で利用できます。

要約(オリジナル)

Contrastive Language-Image Pre-training (CLIP) is an approach that has advanced research and applications in computer vision, fueling modern recognition systems and generative models. We believe that the main ingredient to the success of CLIP is its data and not the model architecture or pre-training objective. However, CLIP only provides very limited information about its data and how it has been collected, leading to works that aim to reproduce CLIP’s data by filtering with its model parameters. In this work, we intend to reveal CLIP’s data curation approach and in our pursuit of making it open to the community introduce Metadata-Curated Language-Image Pre-training (MetaCLIP). MetaCLIP takes a raw data pool and metadata (derived from CLIP’s concepts) and yields a balanced subset over the metadata distribution. Our experimental study rigorously isolates the model and training settings, concentrating solely on data. MetaCLIP applied to CommonCrawl with 400M image-text data pairs outperforms CLIP’s data on multiple standard benchmarks. In zero-shot ImageNet classification, MetaCLIP achieves 70.8% accuracy, surpassing CLIP’s 68.3% on ViT-B models. Scaling to 1B data, while maintaining the same training budget, attains 72.4%. Our observations hold across various model sizes, exemplified by ViT-H achieving 80.5%, without any bells-and-whistles. Curation code and training data distribution on metadata is made available at https://github.com/facebookresearch/MetaCLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google