Perception Encoder: The best visual embeddings are not at the output of the network

要約

単純なビジョン言語学習を通じてトレーニングされた画像およびビデオ理解用の最先端のエンコーダーであるPerception Encoder（PE）を紹介します。
従来、ビジョンエンコーダーは、それぞれが分類、キャプション、ローカリゼーションなどの特定のダウンストリームタスクに合わせて調整されたさまざまな事前トレーニング目標に依存してきました。
驚くべきことに、慎重に調整された画像前登録レシピをスケーリングし、堅牢なビデオデータエンジンで精製した後、対照的なビジョン言語トレーニングだけで、これらすべてのダウンストリームタスクに強力で一般的な埋め込みを生成できることがわかります。
警告は1つだけです。これらの埋め込みは、ネットワークの中間層内に隠されています。
それらを引き出すために、2つのアライメント方法、マルチモーダル言語モデリングの言語アライメント、および密な予測のための空間アライメントを紹介します。
コアコントラストチェックポイントとともに、PEファミリーのモデルは、ゼロショット画像とビデオ分類や検索など、さまざまなタスクで最先端のパフォーマンスを実現しています。
ドキュメント、画像、ビデオQ＆A;
検出、深度推定、追跡などの空間タスク。
さらなる調査を促進するために、合成および人間の注文のビデオのモデル、コード、および新しいデータセットをリリースしています。

要約(オリジナル)

We introduce Perception Encoder (PE), a state-of-the-art encoder for image and video understanding trained via simple vision-language learning. Traditionally, vision encoders have relied on a variety of pretraining objectives, each tailored to specific downstream tasks such as classification, captioning, or localization. Surprisingly, after scaling our carefully tuned image pretraining recipe and refining with our robust video data engine, we find that contrastive vision-language training alone can produce strong, general embeddings for all of these downstream tasks. There is only one caveat: these embeddings are hidden within the intermediate layers of the network. To draw them out, we introduce two alignment methods, language alignment for multimodal language modeling, and spatial alignment for dense prediction. Together with the core contrastive checkpoint, our PE family of models achieves state-of-the-art performance on a wide variety of tasks, including zero-shot image and video classification and retrieval; document, image, and video Q&A; and spatial tasks such as detection, depth estimation, and tracking. To foster further research, we are releasing our models, code, and a novel dataset of synthetically and human-annotated videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google