MM-Vet: Evaluating Large Multimodal Models for Integrated Capabilities

要約

我々は、複雑なマルチモーダルタスクにおける大規模マルチモーダルモデル（LMM）の評価ベンチマークであるMM-Vetを提案する。最近のLMMは、黒板に書かれた数学の問題を解いたり、ニュース画像中の出来事や有名人について推論したり、ビジュアルジョークを説明するなど、様々な興味深い能力を示している。モデルの急速な進歩は、評価ベンチマークの開発に課題を投げかけている。問題点は以下の通りである：(1)複雑なマルチモーダル課題をどのように体系的に構成し評価するか、(2)問題と解答のタイプにまたがってうまく機能する評価指標をどのように設計するか、(3)単純なパフォーマンスランキングを超えたモデルの洞察をどのように与えるか。この目的のために、我々は、複雑なタスクを解決するための魅力的な能力は、多くの場合、異なるコアビジョン言語（VL）能力を統合することができるジェネラリストモデルによって達成されるという洞察に基づいて設計されたMM-Vetを提示する。MM-Vetは6つのコアVL能力を定義し、能力の組み合わせから得られる16の興味のある統合を調べる。評価指標として、オープンエンド出力用のLLMベースの評価器を提案する。この評価器により、様々な質問タイプや回答スタイルに対応した評価が可能となり、統一的な採点基準を得ることができる。代表的なLMMをMM-Vet上で評価し、異なるLMMシステムパラダイムやモデルの能力を明らかにする。コードとデータはhttps://github.com/yuweihao/MM-Vet。

要約(オリジナル)

We propose MM-Vet, an evaluation benchmark that examines large multimodal models (LMMs) on complicated multimodal tasks. Recent LMMs have shown various intriguing abilities, such as solving math problems written on the blackboard, reasoning about events and celebrities in news images, and explaining visual jokes. Rapid model advancements pose challenges to evaluation benchmark development. Problems include: (1) How to systematically structure and evaluate the complicated multimodal tasks; (2) How to design evaluation metrics that work well across question and answer types; and (3) How to give model insights beyond a simple performance ranking. To this end, we present MM-Vet, designed based on the insight that the intriguing ability to solve complicated tasks is often achieved by a generalist model being able to integrate different core vision-language (VL) capabilities. MM-Vet defines 6 core VL capabilities and examines the 16 integrations of interest derived from the capability combination. For evaluation metrics, we propose an LLM-based evaluator for open-ended outputs. The evaluator enables the evaluation across different question types and answer styles, resulting in a unified scoring metric. We evaluate representative LMMs on MM-Vet, providing insights into the capabilities of different LMM system paradigms and models. Code and data are available at https://github.com/yuweihao/MM-Vet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL