FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources

要約

大規模データ上で最先端の Contrastive Language-Image Pretraining (CLIP) モデルをトレーニングする既存の研究では、大きなバッチ サイズが必要なため、数百、さらには数千の GPU が必要になります。
しかし、これほど大量のリソースにほとんどの人がアクセスできるわけではありません。
大域的なコントラスト損失を最適化するための高度な組成最適化技術は、大規模なバッチサイズの要件を取り除くのに効果的であることが実証されていますが、大規模なデータに対するそのパフォーマンスは依然として十分に検討されておらず、最適化されていません。
このギャップを埋めるために、このペーパーでは、限られたリソース (たとえば、最大数十の GPU) での CLIP トレーニングのいくつかの側面を検討します。
まず、分散設定向けに設計および最適化されながら、高度な構成最適化技術に基づいて構築された一般的な CLIP トレーニング フレームワークである FastCLIP を紹介します。
私たちのフレームワークには、通信オーバーヘッドを削減するための効率的な勾配低減戦略が装備されています。
次に、トレーニング効率をさらに高めるために、最適化の観点からフレームワークの 3 つのコンポーネント、つまり内部学習率のスケジュール、温度パラメーターの更新ルール、モデル パラメーターをそれぞれ調査します。
各コンポーネントのさまざまな戦略を実験することで、CLIP トレーニングをより効率的に実行する方法が明らかになります。
最後に、8 ノード上の最大 32 GPU までのさまざまなコンピューティング スケールと、270 万、910 万から 3 億 1,500 万画像の 3 つのデータ スケールで、FastCLIP と最先端のトレーニング ベースライン (OpenCLIP) のパフォーマンスをベンチマークします。
テキストのペアを使用して、リソースが制限された設定における FastCLIP の大幅な改善を示します。
FastCLIP のコードは https://github.com/Optimization-AI/fast_clip で公開しています。

要約(オリジナル)

Existing studies of training state-of-the-art Contrastive Language-Image Pretraining (CLIP) models on large-scale data involve hundreds of or even thousands of GPUs due to the requirement of a large batch size. However, such a large amount of resources is not accessible to most people. While advanced compositional optimization techniques for optimizing global contrastive losses have been demonstrated effective for removing the requirement of large batch size, their performance on large-scale data remains underexplored and not optimized. To bridge the gap, this paper explores several aspects of CLIP training with limited resources (e.g., up to tens of GPUs). First, we introduce FastCLIP, a general CLIP training framework built on advanced compositional optimization techniques while designed and optimized for the distributed setting. Our framework is equipped with an efficient gradient reduction strategy to reduce communication overhead. Second, to further boost training efficiency, we investigate three components of the framework from an optimization perspective: the schedule of the inner learning rate, the update rules of the temperature parameter and the model parameters, respectively. Experiments on different strategies for each component shed light on how to conduct CLIP training more efficiently. Finally, we benchmark the performance of FastCLIP and the state-of-the-art training baseline (OpenCLIP) on different compute scales up to 32 GPUs on 8 nodes, and three data scales ranging from 2.7 million, 9.1 million to 315 million image-text pairs to demonstrate the significant improvement of FastCLIP in the resource-limited setting. We release the code of FastCLIP at https://github.com/Optimization-AI/fast_clip .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google