Prism: A Framework for Decoupling and Assessing the Capabilities of VLMs

要約

ビジョン言語モデル (VLM) は、強力な知覚能力と推論能力を必要とする、さまざまな視覚的な質問に対処する際に優れた能力を発揮します。
既存の VLM では、見ることと推論することが絡み合った性質があるため、固有の困難があるにもかかわらず、これら 2 つの能力を個別に評価することは、モデルを改良するために非常に重要です。
この問題に取り組むために、視覚的な質問の解決に関わる知覚と推論のプロセスを解きほぐすように設計された革新的なフレームワークである Prism を紹介します。
Prism は 2 つの異なるステージで構成されます。1 つは VLM を利用して視覚情報をテキスト形式で抽出して明確にする認識ステージ、もう 1 つは大規模言語モデル (LLM) を使用して抽出された視覚情報に基づいて応答を定式化する推論ステージです。
このモジュール設計により、独自の VLM とオープンソースの VLM の両方の認識力と推論力の体系的な比較と評価が可能になります。
私たちの分析フレームワークはいくつかの貴重な洞察を提供し、視覚言語タスクに対する費用対効果の高いソリューションとしての Prism の可能性を強調しています。
知覚に重点を置いた合理化された VLM と推論に特化した強力な LLM を組み合わせることで、Prism はトレーニングと運用コストを大幅に削減しながら、一般的な視覚言語タスクで優れた結果を達成します。
定量的評価によると、Prism は、バニラ 2B LLaVA と自由にアクセスできる GPT-3.5 で構成すると、厳格なマルチモーダル ベンチマーク MMStar で 10 倍の VLM と同等のパフォーマンスを発揮します。
プロジェクトは https://github.com/SparksJoe/Prism でリリースされます。

要約(オリジナル)

Vision Language Models (VLMs) demonstrate remarkable proficiency in addressing a wide array of visual questions, which requires strong perception and reasoning faculties. Assessing these two competencies independently is crucial for model refinement, despite the inherent difficulty due to the intertwined nature of seeing and reasoning in existing VLMs. To tackle this issue, we present Prism, an innovative framework designed to disentangle the perception and reasoning processes involved in visual question solving. Prism comprises two distinct stages: a perception stage that utilizes a VLM to extract and articulate visual information in textual form, and a reasoning stage that formulates responses based on the extracted visual information using a Large Language Model (LLM). This modular design enables the systematic comparison and assessment of both proprietary and open-source VLM for their perception and reasoning strengths. Our analytical framework provides several valuable insights, underscoring Prism’s potential as a cost-effective solution for vision-language tasks. By combining a streamlined VLM focused on perception with a powerful LLM tailored for reasoning, Prism achieves superior results in general vision-language tasks while substantially cutting down on training and operational expenses. Quantitative evaluations show that Prism, when configured with a vanilla 2B LLaVA and freely accessible GPT-3.5, delivers performance on par with VLMs $10 \times$ larger on the rigorous multimodal benchmark MMStar. The project is released at: https://github.com/SparksJoe/Prism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google