EVA-02: A Visual Representation for Neon Genesis

要約

EVA-02 は次世代の Transformer ベースの視覚的表現であり、マスクされた画像モデリングを介して言語に合わせた強力で堅牢な視覚機能を再構築するように事前トレーニングされています。
更新された単純な Transformer アーキテクチャと、オープンでアクセス可能な巨大な CLIP ビジョン エンコーダーからの広範な事前トレーニングにより、EVA-02 は、さまざまな代表的なビジョン タスク全体で、以前の最先端のアプローチと比較して優れたパフォーマンスを発揮します。
パラメータと計算予算。
特に、パブリックにアクセス可能なトレーニング データのみを使用して、304M パラメーターのみを備えた EVA-02 は、ImageNet-1K val セットで驚異的な 90.0 の微調整トップ 1 精度を達成します。
さらに、当社の EVA-02-CLIP は、ImageNet-1K で最大 80.4 のゼロ ショット トップ 1 に達することができ、わずか 1/6 のパラメーターと 1/6 の画像テキスト トレーニングのみで、以前の最大かつ最高のオープンソースの CLIP を上回っています。
データ。
6M から 304M パラメータまで、さまざまなモデル サイズの 4 つの EVA-02 バリアントを提供し、すべて優れた性能を備えています。
オープン アクセスとオープン リサーチを促進するために、https://github.com/baaivision/EVA/tree/master/EVA-02 で EVA-02 の完全なスイートをコミュニティにリリースします。

要約(オリジナル)

We launch EVA-02, a next-generation Transformer-based visual representation pre-trained to reconstruct strong and robust language-aligned vision features via masked image modeling. With an updated plain Transformer architecture as well as extensive pre-training from an open & accessible giant CLIP vision encoder, EVA-02 demonstrates superior performance compared to prior state-of-the-art approaches across various representative vision tasks, while utilizing significantly fewer parameters and compute budgets. Notably, using exclusively publicly accessible training data, EVA-02 with only 304M parameters achieves a phenomenal 90.0 fine-tuning top-1 accuracy on ImageNet-1K val set. Additionally, our EVA-02-CLIP can reach up to 80.4 zero-shot top-1 on ImageNet-1K, outperforming the previous largest & best open-sourced CLIP with only ~1/6 parameters and ~1/6 image-text training data. We offer four EVA-02 variants in various model sizes, ranging from 6M to 304M parameters, all with impressive performance. To facilitate open access and open research, we release the complete suite of EVA-02 to the community at https://github.com/baaivision/EVA/tree/master/EVA-02.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google