Reproducible scaling laws for contrastive language-image learning

要約

ニューラル ネットワークのスケールアップにより、さまざまなタスクで驚くべきパフォーマンスが実現しました。
さらに、パフォーマンスは多くの場合、トレーニング セットのサイズ、モデルのサイズ、およびコンピューティングの関数として、信頼できるスケーリングの法則に従います。これは、大規模な実験の費用がますます高くなるにつれて、貴重なガイダンスを提供します。
ただし、スケーリング法則に関するこれまでの研究では、主にプライベート データ \& モデルを使用するか、ユニモーダル言語または視覚学習に焦点を当てていました。
これらの制限に対処するために、パブリック LAION データセットとオープンソースの OpenCLIP リポジトリを使用して、対照的な言語イメージ事前トレーニング (CLIP) のスケーリング則を調査します。
大規模な実験には、最大 20 億の画像とテキストのペアでトレーニングされたモデルが含まれ、ゼロショット分類、検索、線形プローブ、エンドツーエンドの微調整など、複数のダウンストリーム タスクのべき法則スケーリングを特定します。
同一のモデル アーキテクチャと同様のトレーニング レシピにもかかわらず、OpenAI と OpenCLIP モデルは異なるスケーリング動作を示すため、トレーニング分布がスケーリングの法則において重要な役割を果たすことがわかりました。
評価ワークフローと最大のパブリック CLIP モデルを含むすべてのモデルをオープンソース化して、再現性を確保し、スケーリングの法則の研究をよりアクセスしやすくしています。
この調査を再現するためのソース コードと手順は、https://github.com/LAION-AI/scaling-laws-openclip で入手できます。

要約(オリジナル)

Scaling up neural networks has led to remarkable performance across a wide range of tasks. Moreover, performance often follows reliable scaling laws as a function of training set size, model size, and compute, which offers valuable guidance as large-scale experiments are becoming increasingly expensive. However, previous work on scaling laws has primarily used private data \& models or focused on uni-modal language or vision learning. To address these limitations, we investigate scaling laws for contrastive language-image pre-training (CLIP) with the public LAION dataset and the open-source OpenCLIP repository. Our large-scale experiments involve models trained on up to two billion image-text pairs and identify power law scaling for multiple downstream tasks including zero-shot classification, retrieval, linear probing, and end-to-end fine-tuning. We find that the training distribution plays a key role in scaling laws as the OpenAI and OpenCLIP models exhibit different scaling behavior despite identical model architectures and similar training recipes. We open-source our evaluation workflow and all models, including the largest public CLIP models, to ensure reproducibility and make scaling laws research more accessible. Source code and instructions to reproduce this study will be available at https://github.com/LAION-AI/scaling-laws-openclip

arxiv情報

提供元, 利用サービス

arxiv.jp, Google