Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

要約

我々は、視覚中心のアプローチで設計されたマルチモーダルLLM（MLLM）ファミリーであるCambrian-1を紹介する。より強力な言語モデルはマルチモーダル能力を向上させるが、視覚コンポーネントの設計選択はしばしば十分に検討されておらず、視覚表現学習研究から切り離されている。このギャップが、実世界のシナリオにおける正確な感覚的根拠を妨げている。本研究では、様々な視覚表現を評価するインターフェースとしてLLMと視覚命令チューニングを用い、20以上の視覚エンコーダを用いた実験に基づき、様々なモデルとアーキテクチャ–自己教師あり、強い教師あり、またはそれらの組み合わせ–に関する新たな知見を提供する。既存のMLLMベンチマークを批判的に検討し、様々なタスクの結果を統合して解釈することの難しさに取り組み、新しい視覚中心のベンチマークであるCV-Benchを紹介する。さらに、視覚的グラウンディングを改善するために、トークンの数を減らしながら、高解像度の視覚的特徴をLLMに統合する、動的で空間を意識したコネクタであるSVA（Spatial Vision Aggregator）を提案する。さらに、データソースのバランスと分配比の重要性を強調しながら、一般に利用可能なソースからの高品質な視覚インストラクションチューニングデータのキュレーションについて議論する。全体として、Cambrian-1は最先端の性能を達成しているだけでなく、命令チューニングされたMLLMの包括的でオープンなクックブックとしての役割も果たしている。我々は、モデルの重み、コード、支援ツール、データセット、詳細な命令チューニングと評価のレシピを提供します。私たちのリリースが、マルチモーダルシステムと視覚表現学習の進歩を刺激し、加速することを願っています。

要約(オリジナル)

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures — self-supervised, strongly supervised, or combinations thereof — based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, address the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL