Same Task, Different Circuits: Disentangling Modality-Specific Mechanisms in VLMs

要約

Vision-Language Models（VLMS）は、視覚入力に関する質問に答える（画像内のオブジェクトをカウントする）印象的な能力を示していますが、テキストで類似のタスクを実行するときにより高い精度を示します（例：テキストで単語をカウントする）。
この精度のギャップは、異なるモダリティで\ textit {circuits}（タスク固有の計算サブグラフ）を識別して比較することで調査します。
回路はモダリティ間で大部分がばらばらであるが、比較的類似した機能を実装することを示します。違いは主にモダリティ固有のデータ位置（画像またはテキストシーケンス）を処理することにあります。
画像データの表現をズームインすると、それらが後のレイヤーにのみ高性能に類似したテキスト表現と整合し、その後の位置に効果的に影響を与えるには処理が遅すぎることがわかります。
これを克服するために、後のレイヤーからの視覚データトークンの表現を以前のレイヤーに戻します。
複数のタスクとモデルを使用した実験では、この単純な介入は、平均して、モダリティ間のパフォーマンスギャップの3分の1を閉じます。
私たちの分析は、VLMSのマルチモーダルパフォーマンスギャップに光を当て、それを減らすためのトレーニングなしのアプローチを示唆しています。

要約(オリジナル)

Vision-Language models (VLMs) show impressive abilities to answer questions on visual inputs (e.g., counting objects in an image), yet demonstrate higher accuracies when performing an analogous task on text (e.g., counting words in a text). We investigate this accuracy gap by identifying and comparing the \textit{circuits} – the task-specific computational sub-graphs – in different modalities. We show that while circuits are largely disjoint between modalities, they implement relatively similar functionalities: the differences lie primarily in processing modality-specific data positions (an image or a text sequence). Zooming in on the image data representations, we observe they become aligned with the higher-performing analogous textual representations only towards later layers, too late in processing to effectively influence subsequent positions. To overcome this, we patch the representations of visual data tokens from later layers back into earlier layers. In experiments with multiple tasks and models, this simple intervention closes a third of the performance gap between the modalities, on average. Our analysis sheds light on the multi-modal performance gap in VLMs and suggests a training-free approach for reducing it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google