Cross-Modal Consistency in Multimodal Large Language Models

要約

マルチモーダル手法の最近の発展により、テキスト、オーディオ、ビジュアル コンテンツを含む多様なデータ タイプの処理に熟達したモデルにとって刺激的な時代の始まりとなりました。
コンピューター ビジョンと高度な言語処理を融合した GPT-4V のようなモデルは、テキスト情報と視覚情報の両方を同時に理解する必要がある複雑なタスクを処理する際に並外れた熟練度を示します。
これまでの研究活動では、物体検出、画像キャプション、その他の関連分野を含むさまざまな領域におけるこれらのビジョン大言語モデル (VLLM) の有効性が綿密に評価されてきました。
しかし、既存の分析は、主に各モダリティのパフォーマンスの個別の評価に重点を置き、複雑なクロスモーダル相互作用の調査を無視しているため、多くの場合限界に悩まされてきました。
特に、異なるモダリティにわたる同一のタスク インスタンスに直面したときに、これらのモデルが同じレベルの精度を達成できるかどうかという問題は未解決のままです。
この研究では、クロスモーダル一貫性と呼ばれる新しい概念を導入することにより、関心のあるこれらのモダリティ間の相互作用と比較を徹底的に調査することに率先して取り組んでいます。
さらに、この考え方に基づいた定量的な評価フレームワークを提案します。
私たちが開発した並行視覚言語データセットの精選されたコレクションから引き出された実験結果は、GPT-4V が統一されたマルチモーダル モデルとして描写されているにもかかわらず、GPT-4V 内の視覚モダリティと言語モダリティの間に顕著な不一致があることを明らかにしました。
私たちの研究は、そのようなモデルの適切な利用法に関する洞察をもたらし、その設計を強化するための潜在的な手段のヒントをもたらします。

要約(オリジナル)

Recent developments in multimodal methodologies have marked the beginning of an exciting era for models adept at processing diverse data types, encompassing text, audio, and visual content. Models like GPT-4V, which merge computer vision with advanced language processing, exhibit extraordinary proficiency in handling intricate tasks that require a simultaneous understanding of both textual and visual information. Prior research efforts have meticulously evaluated the efficacy of these Vision Large Language Models (VLLMs) in various domains, including object detection, image captioning, and other related fields. However, existing analyses have often suffered from limitations, primarily centering on the isolated evaluation of each modality’s performance while neglecting to explore their intricate cross-modal interactions. Specifically, the question of whether these models achieve the same level of accuracy when confronted with identical task instances across different modalities remains unanswered. In this study, we take the initiative to delve into the interaction and comparison among these modalities of interest by introducing a novel concept termed cross-modal consistency. Furthermore, we propose a quantitative evaluation framework founded on this concept. Our experimental findings, drawn from a curated collection of parallel vision-language datasets developed by us, unveil a pronounced inconsistency between the vision and language modalities within GPT-4V, despite its portrayal as a unified multimodal model. Our research yields insights into the appropriate utilization of such models and hints at potential avenues for enhancing their design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google