Demystifying the Visual Quality Paradox in Multimodal Large Language Models

要約

最近のマルチモーダル大手言語モデル（MLLM）は、ベンチマークビジョン言語タスクで優れていますが、入力の視覚品質がどのように応答を形成するかについてはほとんど知られていません。
画像のより高い知覚品質は、すでにより良いMLLMの理解につながっていますか？
主要なMLLMと一連のビジョン言語ベンチマークにまたがる最初の体系的な研究を実施し、各画像に制御された分解と文体シフトを適用します。
驚くべきことに、視覚的なパラドックスを明らかにします：モデル、タスク、さらには、個々のインスタンスのパフォーマンスでさえ、人間の知覚される忠実度から画像が逸脱すると改善できます。
既製の修復パイプラインは、これらの特異な好みを調整できません。
ギャップを閉じるために、視覚的なテストタイムチューニング（VQ-TTT）を導入します。これは、次のような軽量適応モジュールです。
（2）LORAを介した浅い視力エンコーダー層のみ。
VQ-TTTは、各入力画像を単一のフォワードパスで動的に調整し、タスク固有のモデル設定に合わせます。
評価されたMLLMとすべてのデータセット全体で、VQ-TTTは、外部モデル、キャッシュ機能、または追加のトレーニングデータを持たず、大幅な平均精度を高めます。
これらの調査結果は、MLLMSの「より良い」視覚入力を再定義し、AIが主要なデータ顧客であるという新しい時代において、普遍的に「クリーン」なイメージではなく、適応型の必要性を強調しています。

要約(オリジナル)

Recent Multimodal Large Language Models (MLLMs) excel on benchmark vision-language tasks, yet little is known about how input visual quality shapes their responses. Does higher perceptual quality of images already translate to better MLLM understanding? We conduct the first systematic study spanning leading MLLMs and a suite of vision-language benchmarks, applying controlled degradations and stylistic shifts to each image. Surprisingly, we uncover a visual-quality paradox: model, task, and even individual-instance performance can improve when images deviate from human-perceived fidelity. Off-the-shelf restoration pipelines fail to reconcile these idiosyncratic preferences. To close the gap, we introduce Visual-Quality Test-Time Tuning (VQ-TTT)-a lightweight adaptation module that: (1) inserts a learnable, low-rank kernel before the frozen vision encoder to modulate frequency content; and (2) fine-tunes only shallow vision-encoder layers via LoRA. VQ-TTT dynamically adjusts each input image in a single forward pass, aligning it with task-specific model preferences. Across the evaluated MLLMs and all datasets, VQ-TTT lifts significant average accuracy, with no external models, cached features, or extra training data. These findings redefine “better” visual inputs for MLLMs and highlight the need for adaptive, rather than universally “clean”, imagery, in the new era of AI being the main data customer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google