RBench-V: A Primary Assessment for Visual Reasoning Models with Multi-modal Outputs

要約

GPT-4O、Gemini、およびO3によって例示されたネイティブマルチモーダルモデルとオムニモデルの急速な進歩は、テキストや画像などのモダリティ全体でコンテンツを処理および生成する能力を備えており、知性の進化の重要なマイルストーンを示しています。
視覚的思考プロセスにおけるマルチモーダル出力機能の体系的な評価（マルチモーダルの思考チェーン、M-COT）は非常に重要になります。
ただし、マルチモーダルモデルを評価するための既存のベンチマークは、主にマルチモーダル入力とテキストのみの推論の評価に焦点を当て、マルチモーダル出力を通じて推論の重要性を無視します。
このホワイトペーパーでは、モデルのビジョンを示す可能性のある推論能力を評価するように設計された、rbench-Vと呼ばれるベンチマークを紹介します。
rbench-vを構築するために、数学、物理学、カウント、ゲームをカバーする803の質問を注意深く握手します。
通常、特定の入力モダリティを指定する以前のベンチマークとは異なり、rbench-Vは、新しい画像の生成や推論プロセスをサポートする補助ラインの構築などの画像操作が必要なマルチモーダル出力を中心とした問題を提示します。
O3、Gemini 2.5 Pro、QWEN2.5-VLなどを含む、Rbench-V上の多数のオープンソースモデルを評価します。最高のパフォーマンスモデルであるO3でさえ、Rbench-Vで25.8％の精度を達成し、82.3％の人間スコアをはるかに下回り、現在のモデルがマルチモダルの推論を削減するのに苦労しています。
データとコードはhttps://evalmodels.github.io/rbenchvで入手できます

要約(オリジナル)

The rapid advancement of native multi-modal models and omni-models, exemplified by GPT-4o, Gemini, and o3, with their capability to process and generate content across modalities such as text and images, marks a significant milestone in the evolution of intelligence. Systematic evaluation of their multi-modal output capabilities in visual thinking processes (also known as multi-modal chain of thought, M-CoT) becomes critically important. However, existing benchmarks for evaluating multi-modal models primarily focus on assessing multi-modal inputs and text-only reasoning while neglecting the importance of reasoning through multi-modal outputs. In this paper, we present a benchmark, dubbed RBench-V, designed to assess models’ vision-indispensable reasoning abilities. To construct RBench-V, we carefully hand-pick 803 questions covering math, physics, counting, and games. Unlike previous benchmarks that typically specify certain input modalities, RBench-V presents problems centered on multi-modal outputs, which require image manipulation such as generating novel images and constructing auxiliary lines to support the reasoning process. We evaluate numerous open- and closed-source models on RBench-V, including o3, Gemini 2.5 Pro, Qwen2.5-VL, etc. Even the best-performing model, o3, achieves only 25.8% accuracy on RBench-V, far below the human score of 82.3%, highlighting that current models struggle to leverage multi-modal reasoning. Data and code are available at https://evalmodels.github.io/rbenchv

arxiv情報

提供元, 利用サービス

arxiv.jp, Google