What’s in the Image? A Deep-Dive into the Vision of Vision Language Models

要約

視覚言語モデル (VLM) は最近、複雑な視覚コンテンツを理解する際に優れた機能を実証しました。
ただし、VLM が視覚情報を処理する方法の基礎となるメカニズムは、ほとんど解明されていないままです。
この論文では、レイヤー全体の注目モジュールに焦点を当てて、徹底的な実証分析を実行します。
これらのモデルが視覚データをどのように処理するかについて、いくつかの重要な洞察を明らかにします。(i) クエリ トークンの内部表現 (例: 「画像の説明」の表現) は、グローバル画像情報を保存するために VLM によって利用されます。
これらのモデルは、画像トークンに直接アクセスせずに、これらのトークンのみから驚くほど記述的な応答を生成することを実証します。
(ii) クロスモーダル情報フローは主に中間層 (全層の約 25%) の影響を受けますが、初期層と後期層はわずかにしか寄与しません。(iii) きめの細かい視覚属性とオブジェクトの詳細は画像トークンから直接抽出されます。
つまり、特定のオブジェクトまたは属性に関連付けられた生成されたトークンは、画像内の対応する領域に強く関与します。
私たちは、現実世界の複雑な視覚シーンを活用して、観察を検証するための新しい定量的評価を提案します。
最後に、最先端の VLM で効率的な視覚処理を促進する上での発見の可能性を実証します。

要約(オリジナル)

Vision-Language Models (VLMs) have recently demonstrated remarkable capabilities in comprehending complex visual content. However, the mechanisms underlying how VLMs process visual information remain largely unexplored. In this paper, we conduct a thorough empirical analysis, focusing on attention modules across layers. We reveal several key insights about how these models process visual data: (i) the internal representation of the query tokens (e.g., representations of ‘describe the image’), is utilized by VLMs to store global image information; we demonstrate that these models generate surprisingly descriptive responses solely from these tokens, without direct access to image tokens. (ii) Cross-modal information flow is predominantly influenced by the middle layers (approximately 25% of all layers), while early and late layers contribute only marginally.(iii) Fine-grained visual attributes and object details are directly extracted from image tokens in a spatially localized manner, i.e., the generated tokens associated with a specific object or attribute attend strongly to their corresponding regions in the image. We propose novel quantitative evaluation to validate our observations, leveraging real-world complex visual scenes. Finally, we demonstrate the potential of our findings in facilitating efficient visual processing in state-of-the-art VLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google