要約
空間インテリジェンスは、複雑な物理的世界で動作するマルチモーダル大手言語モデル（MLLM）に不可欠です。
ただし、既存のベンチマークは、単一イメージの関係のみをプローブしているため、実際の展開が要求するというマルチイメージの空間的推論を評価できません。
マルチイメージの空間インテリジェンス専用のVQAベンチマークであるMMSIベンチを紹介します。
6人の3Dビジョンの研究者は、300時間以上を費やして、120,000を超える画像から1,000の挑戦的で明確な複数選択の質問を綿密に作成しました。
広範な実験を実施し、34のオープンソースと独自のMLLMを徹底的に評価し、広いギャップを観察します。最も強力なオープンソースモデルは約30％の精度を達成し、OpenaiのO3推論モデルは40％に達し、人間は97％を獲得します。
これらの結果は、MMSIベンチの挑戦的な性質と、将来の研究のための実質的なヘッドルームを強調しています。
注釈付き推論プロセスを活用すると、（1）接地エラー、（2）オーバーラップマッチングおよびシーン再構築エラー、（3）状況変容推論エラー、および（4）スパティアルロジック視点エラーを含む4つの支配的な障害モードを診断する自動エラー分析パイプラインも提供します。
プロジェクトページ：https：//runsenxu.com/projects/mmsi_bench。
要約(オリジナル)
Spatial intelligence is essential for multimodal large language models (MLLMs) operating in the complex physical world. Existing benchmarks, however, probe only single-image relations and thus fail to assess the multi-image spatial reasoning that real-world deployments demand. We introduce MMSI-Bench, a VQA benchmark dedicated to multi-image spatial intelligence. Six 3D-vision researchers spent more than 300 hours meticulously crafting 1,000 challenging, unambiguous multiple-choice questions from over 120,000 images, each paired with carefully designed distractors and a step-by-step reasoning process. We conduct extensive experiments and thoroughly evaluate 34 open-source and proprietary MLLMs, observing a wide gap: the strongest open-source model attains roughly 30% accuracy and OpenAI’s o3 reasoning model reaches 40%, while humans score 97%. These results underscore the challenging nature of MMSI-Bench and the substantial headroom for future research. Leveraging the annotated reasoning processes, we also provide an automated error analysis pipeline that diagnoses four dominant failure modes, including (1) grounding errors, (2) overlap-matching and scene-reconstruction errors, (3) situation-transformation reasoning errors, and (4) spatial-logic errors, offering valuable insights for advancing multi-image spatial intelligence. Project page: https://runsenxu.com/projects/MMSI_Bench .
arxiv情報
| 著者 | Sihan Yang,Runsen Xu,Yiman Xie,Sizhe Yang,Mo Li,Jingli Lin,Chenming Zhu,Xiaochen Chen,Haodong Duan,Xiangyu Yue,Dahua Lin,Tai Wang,Jiangmiao Pang |
| 発行日 | 2025-05-29 17:59:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google