MULTI: Multimodal Understanding Leaderboard with Text and Images

要約

マルチモーダル大規模言語モデル (MLLM) の急速な発展により、それらが人間のパフォーマンスとどのように比較されるのかという疑問が生じています。
既存のデータセットには合成タスクや過度に単純化されたタスクが含まれることがよくありますが、一部のモデルはすでに人間の専門家のベースラインを超えています。
この論文では、本物の試験問題から派生した中国のマルチモーダル データセットである MULTI を紹介します。
MULTI は、慎重に選択され洗練された 18,000 を超える質問で構成され、画像とテキストの理解、複雑な推論、知識の想起を含む、実際の試験基準を使用してモデルを評価します。
さらに、500 問選択されたハード サブセットである MULTI-Elite と、コンテキスト内学習機能をテストするための 4,500 を超える外部ナレッジ コンテキストを含む MULTI-Extend も紹介します。
私たちの評価では、人間の専門家によるベースラインの 86.1% および 73.1% と比較して、Qwen2-VL-72B は MULTI で 76.9%、MULTI-Elite の主要 25 評価モデルで 53.1% の精度を達成しており、MLLM の進歩の大きな余地があることが浮き彫りになっています。
MULTI は、堅牢な評価プラットフォームとして機能するだけでなく、エキスパート レベルの AI 開発への道を開きます。

要約(オリジナル)

The rapid development of multimodal large language models (MLLMs) raises the question of how they compare to human performance. While existing datasets often feature synthetic or overly simplistic tasks, some models have already surpassed human expert baselines. In this paper, we present MULTI, a Chinese multimodal dataset derived from authentic examination questions. Comprising over 18,000 carefully selected and refined questions, MULTI evaluates models using real-world examination standards, encompassing image-text comprehension, complex reasoning, and knowledge recall. Additionally, We also introduce MULTI-Elite, a 500-question selected hard subset, and MULTI-Extend with more than 4,500 external knowledge context pieces for testing in-context learning capabilities. Our evaluation highlights substantial room for MLLM advancement, with Qwen2-VL-72B achieving a 76.9% accuracy on MULTI and 53.1% on MULTI-Elite leading 25 evaluated models, compared to human expert baselines of 86.1% and 73.1%. MULTI serves not only as a robust evaluation platform but also paves the way for the development of expert-level AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google