Benchmarking Sequential Visual Input Reasoning and Prediction in Multimodal Large Language Models

要約

マルチモーダル大規模言語モデル (MLLM) は、認識および解釈タスクにおいて大きな可能性を示していますが、予測推論におけるその機能はまだ十分に研究されていません。
このギャップに対処するために、さまざまなシナリオにわたる MLLM の予測推論能力を評価する新しいベンチマークを導入します。
私たちのベンチマークは、抽象パターン推論、人間活動予測、物理的相互作用予測という 3 つの重要な領域をターゲットとしています。
さらに、マルチビジュアルコンテキストに基づいて将来を予測および推論する際のモデルのパフォーマンスを堅牢に定量化するために、大規模な言語モデルを利用した 3 つの評価方法を開発しました。
実証実験では、厳密なテストを通じて提案されたベンチマークと評価方法の健全性が確認され、予測推論のタスクにおける現在人気のある MLLM の長所と短所が明らかになります。
最後に、私たちが提案するベンチマークは、MLLM に標準化された評価フレームワークを提供し、複雑で長いマルチモーダル入力シーケンスを推論して予測できる、より高度なモデルの開発を促進できます。

要約(オリジナル)

Multimodal large language models (MLLMs) have shown great potential in perception and interpretation tasks, but their capabilities in predictive reasoning remain under-explored. To address this gap, we introduce a novel benchmark that assesses the predictive reasoning capabilities of MLLMs across diverse scenarios. Our benchmark targets three important domains: abstract pattern reasoning, human activity prediction, and physical interaction prediction. We further develop three evaluation methods powered by large language model to robustly quantify a model’s performance in predicting and reasoning the future based on multi-visual context. Empirical experiments confirm the soundness of the proposed benchmark and evaluation methods via rigorous testing and reveal pros and cons of current popular MLLMs in the task of predictive reasoning. Lastly, our proposed benchmark provides a standardized evaluation framework for MLLMs and can facilitate the development of more advanced models that can reason and predict over complex long sequence of multimodal input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google