VCM: Vision Concept Modeling Based on Implicit Contrastive Learning with Vision-Language Instruction Fine-Tuning

要約

大きなビジョン言語モデル（LVLMS）は、強力なビジョン言語の推論能力のために、具体化されたインテリジェンスのような現実世界のAIタスクにとって極めて重要です。
ただし、現在のLVLMSはトークンレベルで画像全体を処理します。これは、情報を分析し、概念レベルでコンテンツを生成する人間と比較して非効率的であり、関連する視覚概念を最小限の労力で抽出します。
視覚的概念モデルの欠如に起因するこの非効率性は、実際のアプリケーションでのLVLMSの使いやすさを制限します。
これに対処するために、エンドツーエンドの自己監視視覚概念モデリングフレームワークであるVCMを提案します。
VCMは、複数のサンプリングされたインスタンスとビジョン言語の微調整にわたって暗黙のコントラスト学習を活用して、コストのかかる概念レベルの注釈を必要とせずに視覚概念モデルを構築します。
我々の結果は、VCMが計算コストを大幅に削減することを示しています（例：LLAVA-1.5-7Bのフロップが85％少ない）一方で、多様な画像理解タスク全体で強力なパフォーマンスを維持しています。
さらに、VCMは、古典的な視覚概念知覚タスクで視覚エンコーダの機能を強化します。
広範な定量的および定性的実験は、VCMの有効性と効率を検証します。

要約(オリジナル)

Large Vision-Language Models (LVLMs) are pivotal for real-world AI tasks like embodied intelligence due to their strong vision-language reasoning abilities. However, current LVLMs process entire images at the token level, which is inefficient compared to humans who analyze information and generate content at the conceptual level, extracting relevant visual concepts with minimal effort. This inefficiency, stemming from the lack of a visual concept model, limits LVLMs’ usability in real-world applications. To address this, we propose VCM, an end-to-end self-supervised visual concept modeling framework. VCM leverages implicit contrastive learning across multiple sampled instances and vision-language fine-tuning to construct a visual concept model without requiring costly concept-level annotations. Our results show that VCM significantly reduces computational costs (e.g., 85\% fewer FLOPs for LLaVA-1.5-7B) while maintaining strong performance across diverse image understanding tasks. Moreover, VCM enhances visual encoders’ capabilities in classic visual concept perception tasks. Extensive quantitative and qualitative experiments validate the effectiveness and efficiency of VCM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google