A Survey on Benchmarks of Multimodal Large Language Models

要約

マルチモーダル大規模言語モデル (MLLM) は、視覚的な質問応答、視覚的知覚、理解、推論などのさまざまなアプリケーションで優れたパフォーマンスを発揮するため、学界と産業界の両方で人気が高まっています。
過去数年間にわたり、MLLM を複数の観点から調査するために多大な努力が払われてきました。
このペーパーでは、\textbf{180 ベンチマーク} の包括的なレビューと MLLM の評価について、(1) 認識と理解、(2) 認識と推論、(3) 特定の領域、(4) 主要な機能、および (5) に焦点を当てて説明します。
他のモダリティ。
最後に、MLLM の現在の評価方法の限界について議論し、有望な将来の方向性を探ります。
私たちの重要な主張は、評価は MLLM の開発をより適切にサポートするための重要な規律と見なされるべきであるということです。
詳細については、GitHub リポジトリ: https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey をご覧ください。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) are gaining increasing popularity in both academia and industry due to their remarkable performance in various applications such as visual question answering, visual perception, understanding, and reasoning. Over the past few years, significant efforts have been made to examine MLLMs from multiple perspectives. This paper presents a comprehensive review of \textbf{180 benchmarks} and evaluation for MLLMs, focusing on (1)perception and understanding, (2)cognition and reasoning, (3)specific domains, (4)key capabilities, and (5)other modalities. Finally, we discuss the limitations of the current evaluation methods for MLLMs and explore promising future directions. Our key argument is that evaluation should be regarded as a crucial discipline to better support the development of MLLMs. For more details, please visit our GitHub repository: https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google