EVA-CLIP: Improved Training Techniques for CLIP at Scale

要約

対照的な言語イメージの事前トレーニング、略して CLIP は、さまざまなシナリオでのその可能性についてますます注目を集めています。
この論文では、CLIPトレーニングの効率と有効性を大幅に改善する一連のモデルであるEVA-CLIPを提案します。
私たちのアプローチには、表現学習、最適化、拡張のための新しい手法が組み込まれており、EVA-CLIP は、同じ数のパラメーターを使用して以前の CLIP モデルと比較して優れたパフォーマンスを達成できますが、トレーニング コストは大幅に削減されます。
特に、最大の 5.0B パラメータの EVA-02-CLIP-E/14+ は、サンプル数が 90 億回しかなく、ImageNet-1K val.
わずか 4 億 3000 万のパラメーターと 60 億の見られるサンプルを備えた小型の EVA-02-CLIP-L/14+ は、ImageNet-1K val で 80.4 のゼロ ショット トップ 1 精度を達成します。
オープン アクセスとオープン リサーチを促進するために、https://github.com/baaivision/EVA/tree/master/EVA-CLIP で EVA-CLIP の完全なスイートをコミュニティにリリースします。

要約(オリジナル)

Contrastive language-image pre-training, CLIP for short, has gained increasing attention for its potential in various scenarios. In this paper, we propose EVA-CLIP, a series of models that significantly improve the efficiency and effectiveness of CLIP training. Our approach incorporates new techniques for representation learning, optimization, and augmentation, enabling EVA-CLIP to achieve superior performance compared to previous CLIP models with the same number of parameters but significantly smaller training costs. Notably, our largest 5.0B-parameter EVA-02-CLIP-E/14+ with only 9 billion seen samples achieves 82.0 zero-shot top-1 accuracy on ImageNet-1K val. A smaller EVA-02-CLIP-L/14+ with only 430 million parameters and 6 billion seen samples achieves 80.4 zero-shot top-1 accuracy on ImageNet-1K val. To facilitate open access and open research, we release the complete suite of EVA-CLIP to the community at https://github.com/baaivision/EVA/tree/master/EVA-CLIP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google