A Survey on Benchmarks of Multimodal Large Language Models

要約

マルチモーダル大規模言語モデル (MLLM) は、視覚的な質問応答、視覚的知覚、理解、推論などのさまざまなアプリケーションで優れたパフォーマンスを発揮するため、学界と産業界の両方で人気が高まっています。
過去数年間にわたり、MLLM を複数の観点から調査するために多大な努力が払われてきました。
このペーパーでは、(1)知覚と理解、(2)認識と推論、(3)特定の領域、(4)主要な機能、および(5)その他のモダリティに焦点を当てた、MLLM の 200 のベンチマークと評価の包括的なレビューを示します。
最後に、MLLM の現在の評価方法の限界について議論し、有望な将来の方向性を探ります。
私たちの重要な主張は、評価は MLLM の開発をより良くサポートするための重要な規律と見なされるべきであるということです。
詳細については、GitHub リポジトリ: https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey をご覧ください。

要約(オリジナル)

Multimodal Large Language Models (MLLMs) are gaining increasing popularity in both academia and industry due to their remarkable performance in various applications such as visual question answering, visual perception, understanding, and reasoning. Over the past few years, significant efforts have been made to examine MLLMs from multiple perspectives. This paper presents a comprehensive review of 200 benchmarks and evaluations for MLLMs, focusing on (1)perception and understanding, (2)cognition and reasoning, (3)specific domains, (4)key capabilities, and (5)other modalities. Finally, we discuss the limitations of the current evaluation methods for MLLMs and explore promising future directions. Our key argument is that evaluation should be regarded as a crucial discipline to support the development of MLLMs better. For more details, please visit our GitHub repository: https://github.com/swordlidev/Evaluation-Multimodal-LLMs-Survey.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google