Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

要約

視覚中心のアプローチで設計されたマルチモーダル LLM (MLLM) ファミリーである Cambrian-1 を紹介します。
より強力な言語モデルはマルチモーダル機能を強化できますが、視覚コンポーネントの設計選択は十分に検討されておらず、視覚表現学習研究から切り離されていることがよくあります。
このギャップは、現実世界のシナリオにおける正確な感覚の接地を妨げます。
私たちの研究では、さまざまな視覚表現を評価するためのインターフェースとして LLM と視覚命令チューニングを使用し、20 を超えるビジョン エンコーダを使用した実験に基づいて、さまざまなモデルやアーキテクチャ (自己教師あり、強力に教師あり、またはそれらの組み合わせ) についての新しい洞察を提供しています。
私たちは既存の MLLM ベンチマークを批判的に検証し、さまざまなタスクからの結果の統合と解釈に伴う困難に対処し、新しいビジョン中心のベンチマークである CV-Bench を導入します。
視覚的根拠をさらに向上させるために、トークンの数を減らしながら高解像度のビジョン機能を LLM と統合する動的で空間認識コネクタである Spatial Vision Aggregator (SVA) を提案します。
さらに、公開されているソースからの高品質のビジュアル指示チューニング データのキュレーションについて説明し、データ ソースのバランスと分散率の重要性を強調します。
全体として、Cambrian-1 は最先端のパフォーマンスを実現するだけでなく、命令調整された MLLM のための包括的でオープンなクックブックとしても機能します。
モデルの重み、コード、サポートツール、データセット、詳細な命令チューニングと評価レシピを提供します。
私たちのリリースがマルチモーダル システムと視覚表現学習の進歩を刺激し、加速させることを願っています。

要約(オリジナル)

We introduce Cambrian-1, a family of multimodal LLMs (MLLMs) designed with a vision-centric approach. While stronger language models can enhance multimodal capabilities, the design choices for vision components are often insufficiently explored and disconnected from visual representation learning research. This gap hinders accurate sensory grounding in real-world scenarios. Our study uses LLMs and visual instruction tuning as an interface to evaluate various visual representations, offering new insights into different models and architectures — self-supervised, strongly supervised, or combinations thereof — based on experiments with over 20 vision encoders. We critically examine existing MLLM benchmarks, addressing the difficulties involved in consolidating and interpreting results from various tasks, and introduce a new vision-centric benchmark, CV-Bench. To further improve visual grounding, we propose the Spatial Vision Aggregator (SVA), a dynamic and spatially-aware connector that integrates high-resolution vision features with LLMs while reducing the number of tokens. Additionally, we discuss the curation of high-quality visual instruction-tuning data from publicly available sources, emphasizing the importance of data source balancing and distribution ratio. Collectively, Cambrian-1 not only achieves state-of-the-art performance but also serves as a comprehensive, open cookbook for instruction-tuned MLLMs. We provide model weights, code, supporting tools, datasets, and detailed instruction-tuning and evaluation recipes. We hope our release will inspire and accelerate advancements in multimodal systems and visual representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google