Performance Gap in Entity Knowledge Extraction Across Modalities in Vision Language Models

要約

視覚言語モデル (VLM) は、画像からの情報の抽出と推論に優れています。
しかし、特定のエンティティに関する内部知識を活用する彼らの能力はまだ解明されていません。
この研究では、テキストで記述されたエンティティと画像で描かれたエンティティに関する事実に関する質問に答えるときのモデルのパフォーマンスの差異を調査します。
私たちの結果では、エンティティがテキストではなく視覚的に表示されると、精度が大幅に低下する (平均 19%) ことが明らかになりました。
私たちは、この減少は、画像トークンからクエリ トークンへの情報の流れの制限から生じていると仮説を立てています。
機械的解釈ツールを使用して、画像トークンはビジョン エンコーダーによって前処理されているものの、これらのトークンからの意味のある情報の流れはより深い層でのみ発生することを明らかにします。
さらに、重要な画像処理は言語モデルの中間層で行われるため、少数の層で連続した推論が可能となり、モデルが推論に層を利用する方法における潜在的な非効率性が浮き彫りになります。
これらの洞察は、VLM の内部メカニズムに光を当て、推論能力を強化するための道を提供します。

要約(オリジナル)

Vision-language models (VLMs) excel at extracting and reasoning about information from images. Yet, their capacity to leverage internal knowledge about specific entities remains underexplored. This work investigates the disparity in model performance when answering factual questions about an entity described in text versus depicted in an image. Our results reveal a significant accuracy drop –averaging 19%– when the entity is presented visually instead of textually. We hypothesize that this decline arises from limitations in how information flows from image tokens to query tokens. We use mechanistic interpretability tools to reveal that, although image tokens are preprocessed by the vision encoder, meaningful information flow from these tokens occurs only in the much deeper layers. Furthermore, critical image processing happens in the language model’s middle layers, allowing few layers for consecutive reasoning, highlighting a potential inefficiency in how the model utilizes its layers for reasoning. These insights shed light on the internal mechanics of VLMs and offer pathways for enhancing their reasoning capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google