PaLI: A Jointly-Scaled Multilingual Language-Image Model

要約

効果的なスケーリングと柔軟なタスクインターフェースにより、大規模な言語モデルは多くのタスクで優れた性能を発揮することができます。我々は、このアプローチを言語と視覚の共同モデリングに拡張したモデル、PaLI (Pathways Language and Image model) を発表する。PaLIは、視覚とテキスト入力に基づいてテキストを生成し、このインターフェースを用いて、多くの言語で、多くの視覚、言語、およびマルチモーダルタスクを実行する。PaLIの学習には、事前に学習された大規模なエンコーダ・デコーダ言語モデルとVision Transformers (ViT)を利用しています。これにより、ViTの既存の能力を利用し、ViTのトレーニングにかかる多大なコストを活用することができます。我々は、ビジョンと言語コンポーネントの共同スケーリングが重要であることを発見しました。既存の言語変換器は視覚変換器よりもはるかに大きいので、さらに大きな容量の視覚モデルから得られる利点を定量化するために、40億パラメータの大きなViT（ViT-e）をトレーニングします。PaLIを訓練するために、100以上の言語の10Bの画像とテキストを含む新しい画像-テキスト訓練セットに基づいて、大規模な多言語混合前訓練タスクを作成しました。PaLIは、シンプルでモジュール化されたスケーラブルな設計を維持しながら、複数の視覚および言語タスク（キャプション、視覚的質問応答、シーンテキスト理解など）において最先端の性能を達成した。

要約(オリジナル)

Effective scaling and a flexible task interface enable large language models to excel at many tasks. We present PaLI (Pathways Language and Image model), a model that extends this approach to the joint modeling of language and vision. PaLI generates text based on visual and textual inputs, and with this interface performs many vision, language, and multimodal tasks, in many languages. To train PaLI, we make use of large pre-trained encoder-decoder language models and Vision Transformers (ViTs). This allows us to capitalize on their existing capabilities and leverage the substantial cost of training them. We find that joint scaling of the vision and language components is important. Since existing Transformers for language are much larger than their vision counterparts, we train a large, 4-billion parameter ViT (ViT-e) to quantify the benefits from even larger-capacity vision models. To train PaLI, we create a large multilingual mix of pretraining tasks, based on a new image-text training set containing 10B images and texts in over 100 languages. PaLI achieves state-of-the-art in multiple vision and language tasks (such as captioning, visual question-answering, scene-text understanding), while retaining a simple, modular, and scalable design.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL