PaLI-3 Vision Language Models: Smaller, Faster, Stronger

要約

この文書では、10 倍大きい同様のモデルと比べても遜色ない、より小さく、より高速で、より強力なビジョン言語モデル (VLM) である PaLI-3 について説明します。
この強力なパフォーマンスに到達する一環として、分類目標を使用して事前トレーニングされた Vision Transformer (ViT) モデルと、対照的に (SigLIP) 事前トレーニングされたモデルを比較します。
SigLIP ベースの PaLI は、標準的な画像分類ベンチマークではわずかにパフォーマンスが劣るものの、さまざまなマルチモーダル ベンチマーク全体で、特にローカリゼーションと視覚的に位置するテキストの理解において優れたパフォーマンスを示していることがわかりました。
当社は、SigLIP 画像エンコーダを最大 20 億パラメータまで拡張し、多言語クロスモーダル検索における新しい最先端を実現します。
私たちは、PaLI-3 がわずか 50 億のパラメーターで、複雑な VLM の基本部分の研究を再燃させ、新世代のスケールアップ モデルを促進できることを期待しています。

要約(オリジナル)

This paper presents PaLI-3, a smaller, faster, and stronger vision language model (VLM) that compares favorably to similar models that are 10x larger. As part of arriving at this strong performance, we compare Vision Transformer (ViT) models pretrained using classification objectives to contrastively (SigLIP) pretrained ones. We find that, while slightly underperforming on standard image classification benchmarks, SigLIP-based PaLI shows superior performance across various multimodal benchmarks, especially on localization and visually-situated text understanding. We scale the SigLIP image encoder up to 2 billion parameters, and achieves a new state-of-the-art on multilingual cross-modal retrieval. We hope that PaLI-3, at only 5B parameters, rekindles research on fundamental pieces of complex VLMs, and could fuel a new generation of scaled-up models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google