SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models

要約

私たちは、SPHINX をベースに開発された広範なマルチモダリティ大規模言語モデル (MLLM) シリーズである SPHINX-X を提案します。
アーキテクチャとトレーニングの効率を向上させるために、冗長なビジュアル エンコーダーを削除し、スキップ トークンで完全に埋め込まれたサブイメージをバイパスし、マルチステージ トレーニングを 1 ステージのオールインワン パラダイムに簡素化することで、SPHINX フレームワークを変更します。
MLLM の可能性を最大限に引き出すために、言語、視覚、および視覚言語タスクにおける公的に利用可能なリソースをカバーする包括的なマルチドメインおよびマルチモーダル データセットを組み立てます。
私たちは、厳選された OCR 集約データセットと Set-of-Mark データセットでこのコレクションをさらに充実させ、多様性と汎用性を拡張します。
TinyLlama1.1B、InternLM2-7B、LLaMA2-13B、Mixtral8x7B などのさまざまなベース LLM でトレーニングすることにより、パラメーター サイズと多言語機能が異なる MLLM のスペクトルを取得します。
包括的なベンチマークにより、マルチモーダル パフォーマンスとデータおよびパラメーター スケール間の強い相関関係が明らかになります。
コードとモデルは https://github.com/Alpha-VLLM/LLaMA2- Accessories でリリースされています。

要約(オリジナル)

We propose SPHINX-X, an extensive Multimodality Large Language Model (MLLM) series developed upon SPHINX. To improve the architecture and training efficiency, we modify the SPHINX framework by removing redundant visual encoders, bypassing fully-padded sub-images with skip tokens, and simplifying multi-stage training into a one-stage all-in-one paradigm. To fully unleash the potential of MLLMs, we assemble a comprehensive multi-domain and multimodal dataset covering publicly available resources in language, vision, and vision-language tasks. We further enrich this collection with our curated OCR intensive and Set-of-Mark datasets, extending the diversity and generality. By training over different base LLMs including TinyLlama1.1B, InternLM2-7B, LLaMA2-13B, and Mixtral8x7B, we obtain a spectrum of MLLMs that vary in parameter size and multilingual capabilities. Comprehensive benchmarking reveals a strong correlation between the multi-modal performance with the data and parameter scales. Code and models are released at https://github.com/Alpha-VLLM/LLaMA2-Accessory

arxiv情報

提供元, 利用サービス

arxiv.jp, Google